[논문 리뷰] Transfer Learning as an Essential Tool for Digital Twins in Renewable Energy Systems

Chandana Priya Nivarthi|arXiv (Cornell University)|2022. 03. 09.

Machine Learning in Materials Science인용 수 5

한 줄 요약

이 논문은 풍력 발전 예측 및 태양광 인verter 이상 탐지에 특화된 디지털 트윈의 성능을 향상시키기 위해 특징 임베딩과 통합된 전이 학습(TL) 프레임워크를 제안한다. 유사한 소스 작업으로부터의 지식을 활용하고, 누락된 데이터 및 변동하는 입력 길이를 처리하기 위해 학습된 특징 임베딩을 사용함으로써, 낮은 데이터 환경에서 모델의 일반화 능력과 자율성을 향상시킨다.

ABSTRACT

Transfer learning (TL), the next frontier in machine learning (ML), has gained much popularity in recent years, due to the various challenges faced in ML, like the requirement of vast amounts of training data, expensive and time-consuming labelling processes for data samples, and long training duration for models. TL is useful in tackling these problems, as it focuses on transferring knowledge from previously solved tasks to new tasks. Digital twins and other intelligent systems need to utilise TL to use the previously gained knowledge and solve new tasks in a more self-reliant way, and to incrementally increase their knowledge base. Therefore, in this article, the critical challenges in power forecasting and anomaly detection in the context of renewable energy systems are identified, and a potential TL framework to meet these challenges is proposed. This article also proposes a feature embedding approach to handle the missing sensors data. The proposed TL methods help to make a system more autonomous in the context of organic computing.

연구 동기 및 목표

• 신규 또는 변화하는 발전소에 대해 레이블이 부여된 훈련 데이터가 부족한 문제를 해결한다.
• 기존의 유사 시스템으로부터의 지식을 전이함으로써 디지털 트윈의 빠른 구현과 성능 향상을 가능하게 한다.
• 실제 재생 가능 에너지 응용 분야에서의 데이터 부족과 센서 데이터 누락 문제를 새로운 특징 임베딩 기법을 통해 극복한다.
• 전이 학습을 활용하여 회귀 및 이상 탐지 작업을 위한 자율성과 자기학습 능력을 향상시킨다.
• 입력 특징의 가변 길이를 지원하고 모델 일반화 능력을 향상시키기 위해 태스크에 특화된 확장 가능한 표현 방식을 개발한다.

제안 방법

• 소스 도메인에서 레이블이 부여된 데이터를 활용하여 도메인 간의 이탈과 데이터 부족 문제를 해결하기 위해 전이 학습을 공식화한다.
• 전이 학습을 풍력 및 태양광 에너지 시스템에서의 회귀 과제(예: 당일 예측) 및 이상 탐지 과제에 적용한다.
• 각 입력 특징을 임베딩 레이어를 통해 표현하고, 이를 값과 조합하여 태스크에 특화된 잠재 표현을 형성하는 특징 임베딩 메커니즘을 설계한다.
• 개별 특징을 개별 특징 신경망(특징 인코더)을 통해 처리한 후, 글로벌 풀링 레이어를 통해 출력을 평균화하여 입력 길이에 관계없이 고정된 길이의 표현을 생성한다.
• 전체 모델을 엔드 투 엔드로 훈련하여 특징 임베딩과 모델 파라미터를 동시에 최적화하여 목표 태스크 성능을 향상시킨다.
• 특징 간의 구조적 관계(예: 공통 잠재 변수 Z₁과 Z₂에서 유도된 특징)를 가진 합성 데이터를 생성하여, 임베딩 공간이 의미적으로 관련된 특징을 어떻게 군집화하는지 검증한다.

실험 결과

연구 질문

• RQ1 풍력 발전 예측과 같이 레이블이 없는 데이터가 부족한 재생 가능 에너지 과제에 대해 전이 학습을 효과적으로 적용할 수 있는 방법은 무엇인가?
• RQ2 누락되거나 길이가 변동하는 입력 특징이 존재할 경우, 학습된 특징 임베딩이 모델의 강건성에 얼마나 기여하는가?
• RQ3 새로운 재생 가능 에너지 시스템에 지식을 전이할 때 가장 유사한 소스 태스크를 선택하는 최적의 전략은 무엇인가?
• RQ4 디지털 트윈 응용 분야에서 전이 학습을 제로샷 또는 희소샷 시나리오에 어떻게 적응시킬 수 있는가?
• RQ5 태스크에 특화된 특징 임베딩이 합성 데이터 실험에서 관찰된 바와 같이 의미적으로 관련된 특징을 잠재 공간에서 더 잘 군집화할 수 있는가?

주요 결과

• 제안된 특징 임베딩 기법은 2차원 시각화를 통해 동일한 잠재 변수(예: Z₁ 및 Z₂)에서 유도된 특징들이 공간적으로 가까이 위치함으로써, 잠재 공간에서 관련 특징들이 잘 군집됨을 입증하였다.
• 개별 특징 인코더와 글로벌 풀링을 통한 아키텍처는 가변 입력 길이를 효과적으로 처리할 수 있어, 누락되거나 동적으로 변화하는 센서 데이터에 강건함을 보였다.
• 합성 데이터 실험 결과, 학습된 임베딩이 특징 간의 잠재적 관계를 잘 포착함을 확인하였으며, 동일한 원천(예: Z₁)에서 유래한 특징들이 일관된 군집을 형성함을 보였다.
• 디지털 트윈에 전이 학습을 통합함으로써, 레이블이 부족한 신규 또는 신규로 가동된 재생 가능 에너지 발전소에 대해 예측 모델을 신속하게 구현할 수 있었다.
• 이 프레임워크는 점진적인 지식 획득을 지원하여 유기 컴퓨팅 원칙과 자기학습 디지털 트윈 시스템의 원칙에 부합한다.
• 실제 데이터셋에 대한 초도 테스트 결과, TL을 풍력 발전 예측 및 태양광 인버터 이상 탐지에 적용하는 것이 가능함을 확인하였으며, 유사도 측정 방법과 희소샷 전이 전략의 평가가 계속 진행 중이다.