[논문 리뷰] An Online-Learning Approach to Inverse Optimization

Andreas Bärmann, Alexander Martín외 2명|arXiv (Cornell University)|2018. 10. 30.

Advanced Bandit Algorithms Research인용 수 6

한 줄 요약

이 논문은 순차적인 관측 자료인 입력 파rameter와 해당 최적 결정을 통해 전문가의 알려지지 않은 선형 목표 함수를 학습하는 온라인 학습 프레임워크를 제안한다. 온라인 경사 하강법과 곱셈 가중치 갱신 알고리즘을 사용하여, 손실과 서로서티비용 편차에서 O(1/√T) 수렴성을 확보함으로써, 동적 또는 비최적 데이터 조건에서도 빠르고 정확한 목표 함수 학습이 가능하며, 비선형, 매개변수화된, 변화하는 목표 함수로의 일반화도 가능하다.

ABSTRACT

In this paper, we demonstrate how to learn the objective function of a decision-maker while only observing the problem input data and the decision-maker's corresponding decisions over multiple rounds. We present exact algorithms for this online version of inverse optimization which converge at a rate of $ \mathcal{O}(1/\sqrt{T}) $ in the number of observations~$T$ and compare their further properties. Especially, they all allow taking decisions which are essentially as good as those of the observed decision-maker already after relatively few iterations, but are suited best for different settings each. Our approach is based on online learning and works for linear objectives over arbitrary feasible sets for which we have a linear optimization oracle. As such, it generalizes previous approaches based on KKT-system decomposition and dualization. We also introduce several generalizations, such as the approximate learning of non-linear objective functions, dynamically changing as well as parameterized objectives and the case of suboptimal observed decisions. When applied to the stochastic offline case, our algorithms are able to give guarantees on the quality of the learned objectives in expectation. Finally, we show the effectiveness and possible applications of our methods in indicative computational experiments.

연구 동기 및 목표

• 입력 파rameter와 최적 결정의 반복 관측 자료로부터 전문가의 알려지지 않은 선형 목표 함수를 추론하는 온라인 학습 프레임워크를 개발하는 것.
• 스트림 형태로 도착하는 데이터에 실시간으로 목표 함수를 학습할 수 있도록 하여, 동적 또는 시간에 따라 변하는 결정 환경에 적합한 것.
• 선형 최적화 오라클을 활용한 온라인 학습 알고리즘을 통해 정적, 볼록 또는 KKT 기반 방법을 초월한 역최적화를 일반화하는 것.
• 학습된 목표 함수의 품질에 대한 이론적 보장을 결정 성능과 비용 편차 측면에서 제공하는 것.
• 비선형 목표 함수, 매개변수화된 목표 함수, 비최적 관측 결정을 처리할 수 있도록 프레임워크를 확장하는 것.

제안 방법

• 각 관측 결정에 대한 피드백을 기반으로 반복적으로 학습된 목표 함수를 개선하기 위해 온라인 경사 하강법(OGD)과 곱셈 가중치 갱신(MWU) 알고리즘을 사용한다.
• 각 라운드 t에서, 알고리즘은 입력 pt를 관측하고, 서로서티 목표 함수 ct를 선택하며, 최적 결정 x̄t = argmax{cₜᵀx | x ∈ X(pt)}를 계산한 후 전문가의 결정 xt를 관측하고, 기울기 또는 가중치 기반 갱신을 통해 ct를 업데이트한다.
• 어떤 후보 목표 함수에 대해서도 최적 결정을 계산할 수 있는 선형 최적화 오라클을 활용하여, 복잡한 타당 집합으로의 확장성을 확보한다.
• 학습된 목표 함수가 유한한 타당 집합 내에 유지되도록 투영 갱신 규칙을 적용함으로써 수렴성과 안정성을 유지한다 (예: 단위 입방체).
• 커널 근사 또는 조각별 선형화를 통해 비선형 목표 함수로의 일반화를 수행하며, 구조적 매개변수 공간을 통해 매개변수화된 목표 함수로의 확장도 가능하다.
• 비최적 결정을 처리하기 위해 슬랙 변수나 강건한 손실 함수를 도입하여 관측된 결정에서의 편차를 처벌한다.

실험 결과

연구 질문

• RQ1 시간이 지남에 따라 최적 결정만 관측할 수 있을 때, 온라인 학습 알고리즘이 낮은 손실과 비용 편차를 달성할 수 있는가?
• RQ2 얼마나 빨리 목표 함수를 학습할 수 있을까? 학습된 목표 함수를 기반으로 한 결정이 전문가의 결정과 거의 동일한 성능을 내도록 할 수 있는가?
• RQ3 시간에 따라 변화하는 목표 함수, 예를 들어 시간에 따라 변하는 배송 비용과 수익을 다룰 수 있는가?
• RQ4 관측된 결정이 최적은 아니지만 비최적일 경우, 이 방법의 성능은 어떠한가?
• RQ5 비선형 또는 매개변수화된 목표 함수를 순차적 자료로부터 학습할 수 있도록 이론적 접근을 확장할 수 있는가?

주요 결과

• 제안된 온라인 알고리즘은 진짜 비용 편차와 서로서티 비용 편차 모두에서 O(1/√T) 수렴 속도를 달성하여, 적은 수의 관측 자료로도 신속한 학습이 가능함을 보여준다.
• 혼합 부호를 가진 계수를 가진 목표 함수를 상금 수거 TSP 설정에서 성공적으로 학습하였으며, 동적 비용과 수익 변화에 대한 강건성을 입증하였다.
• 진짜 목표 함수가 시간에 따라 변화하는 상황에서도 알고리즘이 안정적이고 '강건한' 목표 함수로 수렴하여, 진짜 목표 함수의 변동 범위 내에서 관측된 결정을 설명할 수 있었다.
• 계산 실험 결과, 100라운드 이내에 낮은 해의 오차와 목표 함수 거리가 달성되었으며, 평균 손실은 급격히 감소하였다.
• 비선형 목표 함수와 비최적 결정에 대해서도 프레임워크의 일반화 능력이 뛰어나, 외부 샘플 테스트에서도 뛰어난 성능을 유지하였다.
• 스토하스틱 오프라인 케이스에서 이론적 보장이 기대값 기준으로 유지되어, 불확실성 하에서의 신뢰성도 입증되었다.