[논문 리뷰] A Convex Neural Network Solver for DCOPF with Generalization Guarantees

Ling Zhang, Yize Chen외 1명|arXiv (Cornell University)|2020. 09. 18.

Power System Optimization and Stability참고 문헌 35인용 수 5

한 줄 요약

이 논문은 입력 볼록 신경망(ICNNs)과 KKT 조건 기반 학습 손실을 결합하여 일반화 보장을 갖는 DCOPF를 위한 볼록 신경망 솔버를 제안한다. 네트워크 아키텍처에서 볼록성을 강제하고 학습 중 KKT 위반을 최소화함으로써, 종단 간 모델에 비해 최적성 비율에서 5배 향상되고 타당성도 크게 향상되었으며, 훈련 데이터에 포함되지 않은 입력 영역에서도 성능이 뛰어나다.

ABSTRACT

The DC optimal power flow (DCOPF) problem is a fundamental problem in power systems operations and planning. With high penetration of uncertain renewable resources in power systems, DCOPF needs to be solved repeatedly for a large amount of scenarios, which can be computationally challenging. As an alternative to iterative solvers, neural networks are often trained and used to solve DCOPF. These approaches can offer orders of magnitude reduction in computational time, but they cannot guarantee generalization, and small training error does not imply small testing errors. In this work, we propose a novel algorithm for solving DCOPF that guarantees the generalization performance. First, by utilizing the convexity of DCOPF problem, we train an input convex neural network. Second, we construct the training loss based on KKT optimality conditions. By combining these two techniques, the trained model has provable generalization properties, where small training error implies small testing errors. In experiments, our algorithm improves the optimality ratio of the solutions by a factor of five in comparison to end-to-end models.

연구 동기 및 목표

• 딥 러닝 기반 DCOPF 솔버에서 일반화 보장이 부족하여, 낮은 훈련 오차에도 불구하고 새로운 시나리오에서는 실패하는 문제를 해결한다.
• DCOPF의 구조적 특성인 볼록성과 KKT 조건을 활용하여 고차원 부하 공간의 과제를 극복한다.
• 훈련 오차가 작을수록 테스트 오차도 작아지는 기계학습 프레임워크를 개발하여, 테스트 데이터가 훈련 분포 외부에 있을 경우에도 성능을 보장한다.
• 재생 가능 에너지 변동성 하에서 실시간 전력 시스템 운영에 대한 신경망 대체 모델의 강건성과 신뢰성을 향상시킨다.
• KKT 조건을 정규화 항으로 통합함으로써 레이블이 없는 데이터를 훈련에 활용할 수 있도록 하여 고비용 레이블링 시나리오에 대한 의존도를 낮춘다.

제안 방법

• 부하에서 최적의 발전량으로의 매핑에 입력 볼록 신경망(ICNNs)을 사용하여, 모델 출력이 진짜 DCOPF 비용 함수의 볼록 구조를 이어받도록 볼록성을 강제한다.
• 최적의 발전량 값에 대한 회귀 손실과 KKT 위반 손실을 조합한 학습 손실 함수를 구성하여, 최적성 조건에서의 이탈을 페널티 처리한다.
• KKT 손실을 이중 변수(LMPs)와 값 함수의 기울기 간의 관계에서 유도된 편미분 방정식의 집합으로 공식화한다.
• 레이블이 있는 데이터(최적 해가 알려진 경우)와 레이블이 없는 데이터(오직 부하 값만 제공되는 경우)를 모두 사용하여, 레이블이 없는 점들에서 KKT 기반 손실을 최소화함으로써 모델을 훈련시킨다.
• 훈련에 포함되지 않은 영역에서의 일반화를 향상시키기 위해, 훈련에 포함되지 않은 영역의 레이블이 없는 샘플들로 구성된 보조 집합을 도입한다.
• 볼록 문제에서 KKT 조건이 최적성의 필요 및 충분 조건임을 고려하여, KKT 위반을 최소화하면 전역 최적 해에 도달함을 보장한다.

실험 결과

연구 질문

• RQ1 저희 방법은 훈련 오차가 낮을수록 테스트 오차도 낮아지는 일반화를 보장하는 DCOPF 솔버를 설계할 수 있는가?
• RQ2 DCOPF 문제의 볼록 구조를 신경망 아키텍처에 어떻게 통합하여 일반화를 향상시킬 수 있는가?
• RQ3 KKT 조건을 학습 중 정규화 메커니즘으로 사용하여, 레이블이 없는 예측 데이터에 대해서도 성능을 향상시킬 수 있는가?
• RQ4 얼마나 많은 레이블이 없는 데이터를 사용하여 DCOPF 대체 모델의 강건성을 향상시킬 수 있는가?
• RQ5 분포 외 테스트 샘플에 대해 종단 간 신경망과 비교했을 때, 제안된 방법은 최적성과 타당성 측면에서 어떤 성능을 보이는가?

주요 결과

• 보조 집합을 사용할 경우, 훈련에 포함되지 않은 영역의 테스트 데이터에서 97.24%의 최적성 비율을 달성했으며, 종단 간 모델은 5.52%에 그친다.
• 보조 집합 없이도 62.25%의 최적성 비율을 유지하며, 종단 간 모델이 타당해지지 못하는 것과 비교해 뚜렷한 우월성을 보인다.
• 제안된 모델은 발전기 제약과 선로 전력 흐름 제약 모두에서 타당성 비율이 97% 이상이며, 노드 전력 수요 균형 제약에서는 90% 이상을 기록하여, 훈련에 포함되지 않은 데이터에서도 성능이 뛰어나다.
• 종단 간 모델 대비 타당성 위반 비율을 최대 한 단계 낮추어 강력한 강건성을 입증하였다.
• KKT 보완 손실을 활용함으로써, 훈련 데이터가 전체 입력 공간을 커버하지 못하는 상황에서도 다양한 제약 활성화 패tern에 대해 잘 일반화됨을 확인하였다.
• 이론적 분석을 통해 네트워크 아키텍처의 볼록성이 전체 입력 영역에서 작은 훈련 오차가 작은 테스트 오차를 암시함을 보여주었으며, 샘플링된 점들만이 아니라 전체 영역에 대해 성립한다.