[논문 리뷰] Learning to Optimize Under Constraints with Unsupervised Deep Neural Networks

Seyedrazieh Bayati, Faramarz Jabbarvaziri|arXiv (Cornell University)|2021. 01. 03.

Manufacturing Process and Optimization인용 수 4

한 줄 요약

이 논문은 문제 파라미터에서 근사 최적 해로의 매핑을 학습함으로써 실시간 제약 최적화를 가능하게 하는 새로운 비지도 딥 러닝 프레임워크를 제안한다. 이는 조각별 정규화 방법을 통해 일반적인 등식 및 부등식 제약 조건을 강제함으로써 이루어지며, 내부점 방법과 유사한 near-optimal 타당성과 성능을 달성하면서도 온라인 추론 비용을 크게 감소시킨다.

ABSTRACT

In this paper, we propose a machine learning (ML) method to learn how to solve a generic constrained continuous optimization problem. To the best of our knowledge, the generic methods that learn to optimize, focus on unconstrained optimization problems and those dealing with constrained problems are not easy-to-generalize. This approach is quite useful in optimization tasks where the problem's parameters constantly change and require resolving the optimization task per parameter update. In such problems, the computational complexity of optimization algorithms such as gradient descent or interior point method preclude near-optimal designs in real-time applications. In this paper, we propose an unsupervised deep learning (DL) solution for solving constrained optimization problems in real-time by relegating the main computation load to offline training phase. This paper's main contribution is proposing a method for enforcing the equality and inequality constraints to the DL-generated solutions for generic optimization tasks.

연구 동기 및 목표

• 기존의 최적화 학습 방법이 제약 조건이 없는 문제에만 집중하는 점을 보완하여, 빈번한 재최적화가 필요한 동적 환경에서의 응용을 고려한다.
• 연속 최적화 문제에 대해 등식 및 부등식 제약 조건을 모두 효과적으로 강제할 수 있는 일반적이고 미분 가능한 방법을 개발한다.
• 기존의 내부점 방법 등이 높은 계산 복잡도로 인해 너무 느려 실시간 적용이 어려운 최적화 작업에 대해 실시간 추론을 가능하게 한다.
• 후처리 정규화나 히우리스틱 제약 처리에 의존하지 않고 딥 러닝 모델이 타당한 해를 생성하도록 보장한다.

제안 방법

• 입력 파라미터 $ p $ 에서 최적 해 $ x^* $ 로의 매핑을 수행하는 딥 뉴럴 네트워크(DNN)로 최적화 문제를 설정하고, 손실 함수로 목적 함수 $ f_0(x;p) $ 를 설정한다.
• 부등식 제약 조건과 등식 제약 조건 각각에 대해 조각별 정규화 페널티 $ \boldsymbol{\text{F}}_i(x^*;p) $ 와 $ \boldsymbol{\text{H}}_j(x^*;p) $ 를 도입하며, 이는 거듭제곱 기반 페널티와 지수 $ \boldsymbol{\text{γ}} \geq 1 $ 및 스케일링 인자 $ \boldsymbol{\eta}_i \geq 0 $ 를 사용한다.
• 비연속적인 지표 함수 $ \mathbb{I}(\cdot) $ 를 대체하기 위해 제약 위반에 비례하여 증가하는 비용을 할당하는 연속적이고 미분 가능한 페널티 함수를 도입한다.
• ADAM과 같은 확률적 최적화 방법을 사용해 복합 손실 $ \mathcal{L} = f_0(x^*;p) + \sum_i F_i(x^*;p) + \sum_j H_j(x^*;p) $ 를 최소화하도록 DNN을 학습함으로써, 타당 영역 및 비타당 영역 모두를 통해 기울기가 전파되도록 보장한다.
• 다양한 문제 설정에 일반화하기 위해 파라미터 공간 전역에 균일하게 분포된 많은 수의 학습 샘플($ \sim 1000 $)을 사용한다.
• 후처리나 활성화 함수의 포화와 같은 구조적 제약 없이, 학습 중에 암묵적으로 제약 조건을 강제한다.

실험 결과

연구 질문

• RQ1 기본적인 등식 및 부등식 제약 조건 하에서, 문제 파라미터에서 최적 해로의 매핑을 기울기 기반 최적화가 가능한 비지도 방식으로 학습할 수 있는가?
• RQ2 기울기 기반 최적화가 가능하면서도 최종 해가 타당성을 확보할 수 있도록 제약 위반을 어떻게 페널티화할 수 있는가?
• RQ3 전통적인 내부점 방법과 비교해 DNN 기반 해가 제약 최적화에서 얼마나 near-optimal 성능을 달성할 수 있는가?
• RQ4 다양한 비선형성과 비凸성 최적화 곡면, 다양한 파라미터 설정 조건에서도 제안된 방법이 일반화 가능한가?

주요 결과

• 1개의 제약 조건이 있는 Rosenbrock 함수에 대해 DNN가 내부점 방법 결과와 매우 유사한 해를 도출함: $ c_1=1, c_2=1 $ 일 때 DNN는 $ x_1=0.8394, x_2=0.6040 $ 를 달성했고, 내부점 방법은 $ 0.8082, 0.5889 $ 를 기록함.
• 3개의 제약 조건이 있는 Rosenbrock 함수에 대해 DNN는 전역 최소값이 타당 영역 외부에 있는 경우에도 타당 영역 내에서의 해를 성공적으로 생성함.
• 1개의 제약 조건이 있는 Ackley 함수에 대해 DNN는 내부점 방법의 $ \sim 10^{-12} $ 수준에 근접한 정확도로 해를 도출함 (예: $ x_1 = -5.6177 \times 10^{-6}, x_2 = 7.2256 \times 10^{-5} $), 이는 매우 높은 정확도를 보임.
• 복잡한 비선형 제약 조건 조건 하에서도 학습 중에 페널티를 통해 타당 영역을 향해 네트워크가 유도되므로, 모든 테스트 케이스에서 타당성이 유지됨.
• 내부점 방법의 최악의 경우 복잡도 $ \mathcal{O}(\max\{n,m\}^4\sqrt{n}\log(1/\epsilon)) $ 를 고려할 때, DNN를 사용한 추론의 계산 비용은 크게 낮아져 실시간 구현이 가능함.
• $ \eta_i = 10^8 $ 과 $ \gamma = 2 $ 를 사용할 경우, 페널티 항이 비타당한 해를 효과적으로 억제하여 타당하고 near-optimal 출력만 학습함.