[논문 리뷰] Learning Linear Programs from Optimal Decisions

Yingcong Tan, Daria Terekhov외 1명|arXiv (Cornell University)|2020. 06. 16.

Machine Learning and Algorithms참고 문헌 53인용 수 8

한 줄 요약

이 논문은 최적의 결정에서 선형 프로그래밍을 학습하기 위한 기울기 기반 프레임워크를 제안하며, 은닉 미분을 통해 비용, 제약 조건, 손실 함수를 동시에 최적화할 수 있도록 한다. PyTorch 호환 내부점법 솔버를 사용하여 역전파 지원이 가능한 구조를 구현함으로써, 고차원 매개변수 공간에서 비기울기 방법보다 뛰어난 성능을 보이며, 합성 선형 프로그래밍 및 최소비용 다중물류 흐름 문제를 성공적으로 학습한다.

ABSTRACT

We propose a flexible gradient-based framework for learning linear programs from optimal decisions. Linear programs are often specified by hand, using prior knowledge of relevant costs and constraints. In some applications, linear programs must instead be learned from observations of optimal decisions. Learning from optimal decisions is a particularly challenging bi-level problem, and much of the related inverse optimization literature is dedicated to special cases. We tackle the general problem, learning all parameters jointly while allowing flexible parametrizations of costs, constraints, and loss functions. We also address challenges specific to learning linear programs, such as empty feasible regions and non-unique optimal decisions. Experiments show that our method successfully learns synthetic linear programs and minimum-cost multi-commodity flow instances for which previous methods are not directly applicable. We also provide a fast batch-mode PyTorch implementation of the homogeneous interior point algorithm, which supports gradients by implicit differentiation or backpropagation.

연구 동기 및 목표

• 관측된 최적의 결정 외에 비용이나 제약 조건이 제공되지 않을 경우 선형 프로그래밍을 학습하는 데 도전하는 문제를 해결하기 위해.
• 모든 LP 매개변수—비용, 제약 조건, 손실 함수—를 함께 학습할 수 있는 유연하고 종단 간 기울기 가능 프레임워크를 개발하기 위해.
• 역최적화의 핵심 과제인 비가능한 해, 빈 타당 영역, 유일하지 않은 최적 결정 문제를 극복하기 위해.
• 관측된 최적의 결정을 재현할 수 있는 매개변수화된 선형 프로그래밍(PLP)을 학습함으로써 새로운 조건으로의 일반화를 가능하게 하기 위해.

제안 방법

• 외부 최적화 루프에서 관측된 결정이 타당하고 최적이 되도록 매개변수 w를 최적화하는 이중 최적화 문제로 학습 문제를 설정한다.
• 특징 u와 매개변수 w에 따라 계수가 변하는 매개변수화된 선형 프로그래밍(FOP)을 사용하여 새로운 조건으로의 일반화를 가능하게 한다.
• PyTorch에 구현된 동차 내부점 알고리즘을 활용하여 기울기 전파 또는 은닉 미분 기반 기울기 지원을 제공한다.
• 고차원 공간에서 w를 효율적으로 최적화하기 위해 은닉 기울기를 적용한 순차적 순차제곱계획법(SQP)을 적용한다.
• 내부 최적화 문제의 해를 통해 역전파가 가능하도록 기울기 가능 솔버를 도입하여 종단 간 학습을 가능하게 한다.
• 손실 함수에 타당성 및 최적성 제약 조건을 통합하여 최적 해가 유일하지 않거나 타당 영역이 비어 있는 경우에도 대처한다.

실험 결과

연구 질문

• RQ1 기울기 기반 방법이 관측된 최적의 결정에서 비용, 부등식 및 등식 제약 조건을 포함한 선형 프로그래밍의 모든 매개변수를 효과적으로 학습할 수 있는가?
• RQ2 관측된 결정이 특정 매개변수 설정에서 비가능하거나 타당 영역이 비어 있을 경우, 제안된 방법은 어떻게 이를 처리하는가?
• RQ3 고차원 매개변수 공간에서 기울기 기반 최적화(SQP)와 비기울기 방법(COBYLA, SLSQP)의 성능는 어떻게 비교되는가?
• RQ4 매개변수화된 선형 프로그래밍(PLP)을 학습함으로써 관측되지 않은 조건으로의 일반화가 가능한가?
• RQ5 수치적 허용 오차 및 솔버 설정의 변화에 대해 이 방법은 얼마나 강인한가?

주요 결과

• 기울기 기반 SQP 방법은 COBYLA 및 SLSQP와 같은 비기울기 방법보다 일관되게 뛰어난 성능을 보이며, 특히 고차원 매개변수 공간에서 두각을 나타낸다.
• 이 방법은 합성 선형 프로그래밍 및 최소비용 다중물류 흐름 문제를 성공적으로 학습하였으며, 이전 방법이 직접 적용되지 않는 경우에도 유사한 성능을 달성하였다.
• PyTorch에 구현된 동차 내부점법 솔버는 기울기 가능 최적화를 지원하며, 내부 LP의 해를 통해 역전파가 가능하다.
• D=10, M1=80, M2=2 조건에서 테스트된 모든 인스턴스에서 훈련 손실이 0이 되었으며, 이는 강력한 수렴 성능을 보여준다.
• 수치적 허용 오차와 PyTorch 버전의 변화에 대해 이 방법은 안정적인 성능을 유지하여 다양한 설정에서 강인함을 입증한다.
• 비기울기 방법인 RS는 등식 제약 조건의 비가능성으로 인해 타당한 매개변수를 찾지 못하여, 기울기 기반 최적화의 필요성을 강조한다.