[논문 리뷰] Data-driven Inverse Optimization with Incomplete Information

Peyman Mohajerin Esfahani, Soroosh Shafieezadeh-Abadeh외 2명|arXiv (Cornell University)|2015. 12. 17.

Advanced Bandit Algorithms Research인용 수 4

한 줄 요약

이 논문은 예측 오차가 목적치 값 공간에서 측정될 때, 추정된 결정과 실제 결정 간의 최악의 리스크를 최소화하는 방식으로, 완전하지 않거나 노이즈가 있는 신호-응답 데이터로부터 에이전트의 목적 함수를 학습하는 데이터 기반 역최적화 프레임워크를 제안한다. 이는 타당한 결정의 공간에서 예측 오차를 측정할 경우 문제를 해석 가능한 볼록 프로그램으로 재구성하여, 유한한 이성성, 측정 노이즈 또는 모델 부정확성 하에서도 강력한 샘플 외 성능 보장을 제공한다.

ABSTRACT

In data-driven inverse optimization an observer aims to learn the preferences of an agent who solves a parametric optimization problem depending on an exogenous signal. Thus, the observer seeks the agent's objective function that best explains a historical sequence of signals and corresponding optimal actions. We formalize this inverse optimization problem as a distributionally robust program minimizing the worst-case risk that the {\em estimated} decision ({\em i.e.}, the decision implied by a particular candidate objective) differs from the agent's {\em actual} response to a random signal. We show that our framework offers attractive out-of-sample performance guarantees for different prediction errors and that the emerging inverse optimization problems can be reformulated as (or approximated by) tractable convex programs when the prediction error is measured in the space of objective values. A main strength of the proposed approach is that it naturally generalizes to situations where the observer has imperfect information, {\em e.g.}, when the agent's true objective function is not contained in the space of candidate objectives, when the agent suffers from bounded rationality or implementation errors, or when the observed signal-response pairs are corrupted by measurement noise.

연구 동기 및 목표

• 역사적 데이터가 완전하지 않거나 노이즈가 있거나 손상된 경우에 에이전트의 진짜 목적 함수를 학습하는 데 도전하는 것.
• 추정된 결정과 실제 결정 간의 최악의 리스크를 최소화하는 분포로 저항력 있는 프로그램으로서 역최적화를 공식화하는 것.
• 유한한 이성성, 측정 오차 등 다양한 형태의 불확실성 하에서 샘플 외 성능에 대한 이론적 보장을 제공하는 것.
• 예측 오차가 목적치 값 공간에서 측정될 경우 해석 가능한 볼록 최적화 재구성법을 개발하는 것.
• 진짜 목적 함수가 후보 목적 함수 집합에 포함되지 않는 설정으로 기존의 역최적화 접근법을 일반화하는 것.

제안 방법

• 추정된 응답과 실제 응답 간의 결정 불일치 최악의 리스크를 최소화하는 분포로 저항력 있는 프로그램으로서 역최적화 문제를 공식화하는 것.
• 관측된 데이터와 일치하는 타당한 목적 함수 집합을 고려하여 에이전트의 진짜 목적 함수에 대한 불확실성을 모델링하는 것.
• 가능한 신호들에 걸쳐 추정된 결정과 실제 결정 간 평균 편차의 최악의 기대값을 기반으로 한 리스크 측도를 사용하는 것.
• 예측 오차가 목적치 값 공간에서 측정될 경우 역문제를 해석 가능한 볼록 프로그램으로 재구성하는 것.
• 최적 행동과 관측된 행동 간의 편차를 允허함으로써 유한한 이성성과 실행 오류에 대한 강건성을 확보하는 것.
• 신호-응답 쌍에서의 측정 노이즈를 처리하기 위해 타당한 데이터 손상 상황을 반영하는 불확실성 집합을 통합하는 것.

실험 결과

연구 질문

• RQ1 역최적화는 어떻게 기록된 역사적 데이터가 부족하거나 손상된 경우에 에이전트 선호도 학습에 대해 강건하게 만들 수 있는가?
• RQ2 유한한 이성성과 실행 오류는 역최적화에서 학습된 목적 함수의 신뢰성에 어떤 영향을 미치는가?
• RQ3 분포로 저항력 있는 프레임워크는 모델 불확실성 하에서도 강력한 샘플 외 성능 보장을 보장할 수 있는가?
• RQ4 언제 역최적화 문제가 해석 가능한 볼록 프로그램으로 재구성될 수 있는가?
• RQ5 제안된 방법은 진짜 목적 함수가 후보 목적 함수 집합 외부에 있을 경우에 어떻게 일반화되는가?

주요 결과

• 제안된 프레임워크는 추정된 결정과 실제 결정 간의 최악의 리스크를 최소화함으로써 강력한 샘플 외 성능 보장을 제공한다.
• 예측 오차가 목적치 값 공간에서 측정될 경우 역최적화 문제는 해석 가능한 볼록 프로그램으로 재구성될 수 있다.
• 정확한 진짜 목적 함수를 알지 못하더라도 이론적으로는 유한한 이성성, 실행 오류, 측정 노이즈를 자연스럽게 수용할 수 있다.
• 관측된 데이터와 일치하는 타당한 목적 함수 집합을 고려함으로써 모델 부정확성에 대한 강건성을 확보한다.
• 신호와 응답 양쪽에 대한 불확실성과 불완전한 정보를 수용함으로써 기존의 역최적화 방법을 일반화한다.
• 이론적 해석 가능성은 유지하면서도 실제 응용에서 다양한 원인의 불확실성을 모델링하는 데에 민첩성을 제공한다.