[논문 리뷰] Forecasting steam mass flow in power plants using the parallel hybrid network

Andrii Kurkin, Jonas Hegemann외 2명|arXiv (Cornell University)|2023. 07. 18.

Neural Networks and Applications인용 수 5

한 줄 요약

이 논문은 열력발전소의 증기 질량 유량을 15분 전방으로 예측하기 위해 고전적 피드포워드 신경망과 매개변수화된 양자 회로를 결합한 병렬 하이브리드 신경망(PHN)을 제안한다. 모델은 순수 고전적 모델 대비 평균제곱오차(MSE)를 5.7배 낮추고 상대 오차를 최대 2배까지 감소시켜, 병렬 아키텍처에서 고전적 및 양자적 구성 요소가 상호보완적으로 학습하는 것을 통해 뛰어난 성능을 입증한다.

ABSTRACT

Efficient and sustainable power generation is a crucial concern in the energy sector. In particular, thermal power plants grapple with accurately predicting steam mass flow, which is crucial for operational efficiency and cost reduction. In this study, we use a parallel hybrid neural network architecture that combines a parametrized quantum circuit and a conventional feed-forward neural network specifically designed for time-series prediction in industrial settings to enhance predictions of steam mass flow 15 minutes into the future. Our results show that the parallel hybrid model outperforms standalone classical and quantum models, achieving more than 5.7 and 4.9 times lower mean squared error loss on the test set after training compared to pure classical and pure quantum networks, respectively. Furthermore, the hybrid model demonstrates smaller relative errors between the ground truth and the model predictions on the test set, up to 2 times better than the pure classical model. These findings contribute to the broader scientific understanding of how integrating quantum and classical machine learning techniques can be applied to real-world challenges faced by the energy sector, ultimately leading to optimized power plant operations. To our knowledge, this study constitutes the first parallel hybrid quantum-classical architecture deployed on a real-world power-plant dataset, illustrating how near-term quantum resources can already augment classical analytics in the energy sector.

연구 동기 및 목표

• 열력발전소에서 정확한 증기 질량 유량 예측 문제를 해결함으로써 운영 효율성 향상과 비용 절감에 기여하고자 한다.
• 실제 산업 시계열 예측에 응용되는 하이브리드 양자-고전 기계학습의 실현 가능성과 성능을 탐색하고자 한다.
• 고전적 및 양자 네트워크가 독립적으로 작동하면서도 상호보완적으로 기여하는 새로운 병렬 아키텍처를 설계하고 평가하고자 한다.
• 실제 산업 데이터 기반으로 하이브리드 모델의 성능을 순수 고전적 및 양자 신경망과 비교하고자 한다.
• 양자 기계학습이 실질적인 에너지 부문 응용 분야에서 실질적인 성능 향상을 이끌 수 있음을 입증하고자 한다.

제안 방법

• 고전적 및 양자 신경망이 순차적으로가 아니라 병렬적으로 학습되는 병렬 하이브리드 신경망(PHN) 아키텍처를 설계하였다.
• 고전적 구성 요소는 시계열 회귀를 위해 PyTorch로 구현된 피드포워드 신경망을 사용하였다.
• 양자 구성 요소는 변분 유니터리 게이트를 갖춘 매개변수화된 양자 회로(PQC)를 사용하였으며, PennyLane 프레임워크를 통해 구현하였다.
• 양자 회로는 입력 특징을 양자 상태로 인코딩하고 관측 가능량을 측정하여 예측을 생성하며, 그라디언트는 수반 방법(adoint method)을 통해 계산된다.
• 학습은 고전적 부분에 대한 역전파와 양자 부분에 대한 수반 기반 최적화를 통해 최소화되는 통합 손실 함수를 사용한다.
• 하이퍼파rameter 튜닝은 고전적 네트워크 기여가 나타나기 전에 양자 네트워크의 사전 훈련을 우선시하여 사인파 기반 기준선을 확립하는 데 중점을 두었다.

실험 결과

연구 질문

• RQ1 병렬 하이브리드 양자-고전 신경망 아키텍처가 실생활 산업 시계열 예측에서 순수 고전적 및 양자 모델을 능가할 수 있는가?
• RQ2 병렬 구조에서 고전적 및 양자 구성 요소가 독립적으로 훈련될 경우 모델 수렴성과 성능에 어떤 영향을 미치는가?
• RQ3 양자 기계학습이 열력발전소의 증기 질량 유량 예측 정확도 향상에 어느 정도 기여할 수 있는가?
• RQ4 실제 주기적 산업 시계열 데이터에서 하이브리드 모델은 고전적 기준 모델 대비 상대 오차를 줄일 수 있는가?
• RQ5 어떤 훈련 전략이 구성 요소 간 균형 잡힌 기여를 보장하고 한 구성 요소가 하이브리드 모델을 지배하는 것을 방지할 수 있는가?

주요 결과

• 100 에포크의 훈련 후, 병렬 하이브리드 네트워크는 테스트 세트에서 순수 고전적 신경망 대비 평균제곱오차(MSE)를 5.7배 이상 낮춘 성과를 달성하였다.
• 하이브리드 모델은 순수 양자 신경망 대비 MSE를 4.9배 감소시켜, 둘 다 독립적으로 학습된 모델보다도 뚜렷한 향상을 보였다.
• 실제 값과 예측값 간의 상대 오차는 하이브리드 모델이 고전적 모델 대비 최대 2배까지 작아졌으며, 이는 미리 보지 않은 데이터에 대한 더 높은 정확도를 의미한다.
• 양자 네트워크의 사전 훈련 단계는 사인파 기반 기준선을 확립하여 이후 고전적 네트워크 훈련이 더 부드럽고 효과적으로 이루어지도록 도왔다.
• 병렬 아키텍처는 구성 요소 간 간섭을 방지하고 각각이 독립적으로 기여할 수 있도록 하여 전체 모델의 안정성과 성능 향상을 높였다.
• 결과적으로 하이브리드 양자-고전 모델이 실생활 산업 시계열 예측 과제에서 고전적 및 양자 모델을 개별적으로 능가할 수 있음을 확인하였다.