[논문 리뷰] Ensuring DNN Solution Feasibility for Optimization Problems with Convex Constraints and Its Application to DC Optimal Power Flow Problems

Tianyu Zhao, Xiang Pan외 2명|arXiv (Cornell University)|2021. 12. 15.

Energy Load and Power Forecasting인용 수 9

한 줄 요약

이 논문은 훈련 중에 부등식 제약 조건을 체계적으로 校정하여 예측 오차를 사전에 고려함으로써, 볼록 제약 조건을 가진 최적화 문제에 대한 딥 뉴럴 네트워크(DNN) 해법의 타당성을 보장하는 예방적 학습 프레임워크를 제안한다. 이 방법은 후처리 없이 100% 타당성을 확보하며, IEEE 테스트 시스템에서 <0.19% 최적성 손실로 최대 228배의 속도 향상을 달성하여 기존 DNN 기반 기준선을 능가한다.

ABSTRACT

Ensuring solution feasibility is a key challenge in developing Deep Neural Network (DNN) schemes for solving constrained optimization problems, due to inherent DNN prediction errors. In this paper, we propose a ``preventive learning'' framework to guarantee DNN solution feasibility for problems with convex constraints and general objective functions without post-processing, upon satisfying a mild condition on constraint calibration. Without loss of generality, we focus on problems with only inequality constraints. We systematically calibrate inequality constraints used in DNN training, thereby anticipating prediction errors and ensuring the resulting solutions remain feasible. We characterize the calibration magnitudes and the DNN size sufficient for ensuring universal feasibility. We propose a new Adversarial-Sample Aware training algorithm to improve DNN's optimality performance without sacrificing feasibility guarantee. Overall, the framework provides two DNNs. The first one from characterizing the sufficient DNN size can guarantee universal feasibility while the other from the proposed training algorithm further improves optimality and maintains DNN's universal feasibility simultaneously. We apply the framework to develop DeepOPF+ for solving essential DC optimal power flow problems in grid operation. Simulation results over IEEE test cases show that it outperforms existing strong DNN baselines in ensuring 100% feasibility and attaining consistent optimality loss ($&lt;$0.19%) and speedup (up to $ imes$228) in both light-load and heavy-load regimes, as compared to a state-of-the-art solver. We also apply our framework to a non-convex problem and show its performance advantage over existing schemes.

연구 동기 및 목표

• 내재된 예측 오차로 인해 DNN 해법의 타당성이 상실되는 문제에 대응하기 위한 핵심 과제를 해결하기 위해.
• 볼록 부등식 제약 조건을 가진 문제에 대해 후처리 없이 타당성을 보장하는 프레임워크를 개발하기 위해.
• 모든 입력 매개변수 영역에서 일반화된 타당성을 확보하면서도 높은 최적성 및 속도 성능를 유지하기 위해.
• 프레임워크를 비볼록 문제로 확장하고 일반화 능력을 입증하기 위해.
• 실시간 전력망 운영을 위한 실세계 적용을 위해 DC 최적 전력 흐름(DC-OPF) 문제에 이 방법을 적용하기 위해.

제안 방법

• 비핵심 및 선형 등식 제약 조건을 예측-재구성 설계를 통해 제거함으로써, 최적성 손실 없이 결정 변수를 감소시킨다.
• DNN 예측 오차에 대비한 안전 여유를 확보하기 위해 제약 조건의 한계를 체계적으로 감소시켜 제약 조건 校정을 도입한다.
• 타당 입력 영역을 유지하는 데 최대 허용 가능한 校정 비율을 결정하기 위해 이중 최적화 문제를 휴리스틱하게 해결한다.
• 모든 입력에 대해 일반화된 타당성을 보장하기 위해 정수 선형 형식을 사용하여 충분한 DNN 크기를 유도한다. 이를 통해 추가 훈련 없이 사전 훈련된 DNN를 활용할 수 있다.
• 타당성 보장을 유지하면서 최적성 성능을 향상시키기 위해 적대적 샘플을 고려한 훈련 알고리즘을 제안한다.
• 프레임워크는 두 개의 DNN을 생성한다: 하나는 일반화된 타당성을 보장하는 DNN-FG이고, 另 하나는 타당성 손실 없이 최적성을 향상시키는 DNN-Optimality Enhanced이다.

실험 결과

연구 질문

• RQ1 볼록 제약 조건이 있는 최적화 문제에 대한 DNN 기반 해법이 후처리 없이 모든 입력 매개변수에서 타당성이 보장될 수 있는가?
• RQ2 모든 입력에 대해 타당성을 유지하는 데 허용 가능한 최대 제약 조건 校정 비율은 얼마인가?
• RQ3 제약 조건 校정 하에 일반화된 타당성을 보장하기 위해 필요한 충분한 DNN 크기는 무엇인가?
• RQ4 적대적 샘플을 고려한 훈련을 통해 최적성이 향상될 수 있으며, 타당성은 손상되지 않는가?
• RQ5 비볼록 문제와 실세계 전력 시스템(예: IEEE 테스트 케이스)에서 프레임워크의 성능은 어떠한가?

주요 결과

• DeepOPF+는 후처리 없이 모든 IEEE 테스트 케이스(Case14부터 Case300까지)에서 100% 타당성을 확보하며, 기존 DNN 기반 기준선을 능가한다.
• 모든 테스트 케이스에서 최적성 손실가 <0.19% 이하로 유지되며, 경하중 및 중하중 운용 조건 모두에서 일관된 성능을 보인다.
• 최첨단 반복적 해법 대비 최대 228배의 속도 향상을 달성했으며, 대규모 시스템에서는 ×115에서 ×138의 속도 향상이 관찰되었다.
• 타당성 보장 DNN(DNN-FG)는 유도된 충분한 DNN 크기를 기반으로, 학습 없이도 구조적으로 일반화된 타당성을 보장한다.
• 적대적 샘플을 고려한 훈련은 최적성 성능을 향상시키면서도 100% 타당성을 유지함을 비교 시뮬레이션을 통해 입증하였다.
• 비볼록 문제에 대해서도 프레임워크가 성능 우수성을 보이며, 볼록 문제를 초월한 광범위한 응용 가능성을 시사한다.