[논문 리뷰] Automatically Learning Compact Quality-aware Surrogates for Optimization Problems

Kai Wang, Bryan Wilder외 2명|arXiv (Cornell University)|2020. 06. 18.

Machine Learning and Data Classification인용 수 7

한 줄 요약

이 논문은 원래 변수의 학습 가능한 선형 조합을 사용하여 가용 영역을 재매개변수화함으로써 최적화 문제에 대해 압축되고 품질 인식 가능한 대체 모델을 학습하는 방법을 제안한다. 고비용의 미분 가능 최적화 레이어를 이 저차원 대체 모델로 대체함으로써, 훈련 및 추론 속도가 향상되고, 더 부드럽고 안정적인 최적화를 통해 의사결정 품질이 향상됨을 입증하였다. 비볼록, 상하위모듈라, 볼록 문제에서 뚜렷한 속도 향상과 더 나은 해의 품질을 보였다.

ABSTRACT

Solving optimization problems with unknown parameters often requires learning a predictive model to predict the values of the unknown parameters and then solving the problem using these values. Recent work has shown that including the optimization problem as a layer in the model training pipeline results in predictions of the unobserved parameters that lead to higher decision quality. Unfortunately, this process comes at a large computational cost because the optimization problem must be solved and differentiated through in each training iteration; furthermore, it may also sometimes fail to improve solution quality due to non-smoothness issues that arise when training through a complex optimization layer. To address these shortcomings, we learn a low-dimensional surrogate model of a large optimization problem by representing the feasible space in terms of meta-variables, each of which is a linear combination of the original variables. By training a low-dimensional surrogate model end-to-end, and jointly with the predictive model, we achieve: i) a large reduction in training and inference time; and ii) improved performance by focusing attention on the more important variables in the optimization and learning in a smoother space. Empirically, we demonstrate these improvements on a non-convex adversary modeling task, a submodular recommendation task and a convex portfolio optimization task.

연구 동기 및 목표

• 최적화 문제를 미분 가능한 레이어로 통합하는 엔드 투 엔드 의사결정 중심 학습에서 발생하는 높은 계산 비용과 비연속성 문제를 해결하기 위함.
• 최적화 문제에서 가장 중요한 변수들에 집중하는 저차원 대체 모델을 학습하여 의사결정 품질을 향상시키기 위함.
• 대규모 최적화 레이어를 압축되고 미분 가능한 대체 모델로 대체함으로써 훈련 및 추론 시간을 단축시키기 위함.
• 예측 모델과 대체 모델을 함께 엔드 투 엔드로 훈련하여, 역전파를 통해 의사결정 품질 손실을 최소화하기 위함.
• 재매개변수화 프레임워크 하에서 볼록성, 상하위모듈라성, 샘플 복잡도에 대한 이론적 보장을 제공하기 위함.

제안 방법

• 각 메타변수를 원래 의사결정 변수의 학습 가능한 선형 조합으로 구성하여 최적화 문제의 가용 영역을 표현한다.
• 원래 최적화 문제를 더 적은 수의 압축된 메타변수로 근사하는 미분 가능한 대체 레이어를 도입한다.
• 대체 레이어를 통해 역전파를 수행함으로써 예측 모델과 대체 모델을 함께 훈련하여 의사결정 품질 손실을 최소화한다.
• 학습 중에 학습되는 재매개변수화 행렬을 통해 자동으로 관련성이 높은 변수 조합을 식별하고 강조한다.
• 대체 프레임워크 하에서 손실 함수의 타당성을 확보하기 위해 좌표별 준볼록성 분석을 활용한다.
• 샘플 복잡도 한계를 적용하여 학습된 대체 모델과 예측 모델의 일반화 성능에 대한 이론적 근거를 제공한다.

실험 결과

연구 질문

• RQ1 가용 영역의 학습 가능한 선형 재매개변수화가 엔드 투 엔드 의사결정 중심 학습에서 훈련 및 추론 시간을 줄일 수 있는가?
• RQ2 복잡한 최적화 레이어를 압축된 대체 모델로 대체함으로써, 잠재적인 근사 오차가 존재하더라도 해의 품질이 향상되는가?
• RQ3 대체 모델 프레임워크가 최적화 문제에서 바람직한 성질인 볼록성과 상하위모듈라성을 어떻게 유지하는가?
• RQ4 대체 모델 방법은 다양한 미분 가능 최적화에서 비연속성 문제와 훈련 불안정성 문제를 어느 정도 감소시키는가?
• RQ5 특히 데이터가 부족한 도메인에서, 대체 모델은 제한된 데이터로도 잘 일반화되는가?

주요 결과

• 차원 감소로 인한 삼차 시간 복잡도 감소 덕분에 볼록 2차 계획 문제에서 최대 7배 빠른 훈련 및 추론 시간을 달성하였다.
• 비볼록 대응자 모델링에서 의사결정 중심 방법은 빠르게 수렴했지만 낮은 품질의 해를 도출했고, 대체 모델 방법은 이러한 정보가 없는 국소 최적점들을 피했다.
• 상하위모듈라 추천 작업에서 블랙박스 솔버의 빠른 수렴에도 불구하고 대체 모델 방법은 더 나은 일반화 성능을 보이며 해의 품질을 향상시켰다.
• 시각화 결과는 학습된 대체 모델 재매개변수화가 구조적으로 중요한 변수들, 예를 들어 핵심 사용자-아이템 관계나 고분산 영화 평점에 적응적으로 집중하는 것으로 나타났다.
• 대체 모델은 과적합을 줄이고 훈련 과정의 경계를 부드럽게 하여 더 안정적이고 고급의 의사결정 결과를 이끌어냈다.
• 이론적 분석을 통해 볼록성과 상하위모듈라성이 재매개변수화 하에서도 유지됨을 확인하였고, 엔드 투 엔드 손실 함수는 좌표별 준볼록성을 만족하여 더 나은 최적화 행동을 보장함을 입증하였다.