[論文レビュー] Data-driven Inverse Optimization with Incomplete Information

Peyman Mohajerin Esfahani, Soroosh Shafieezadeh-Abadeh+2 more|arXiv (Cornell University)|Dec 17, 2015

Advanced Bandit Algorithms Research被引用数 4

ひとこと要約

本稿では、推定された意思決定と実際の意思決定の間の最悪事態リスクを最小化することで、不完全またはノイズの多い信号-応答データからエージェントの目的関数を学習するデータ駆動型逆最適化フレームワークを提案する。予測誤差が目的関数値空間で測定される場合、問題は扱いやすい凸計画問題に再定式化され、有界合理性、測定ノイズ、またはモデル不適合の下でも強力な外挙動性能保証を提供する。

ABSTRACT

In data-driven inverse optimization an observer aims to learn the preferences of an agent who solves a parametric optimization problem depending on an exogenous signal. Thus, the observer seeks the agent's objective function that best explains a historical sequence of signals and corresponding optimal actions. We formalize this inverse optimization problem as a distributionally robust program minimizing the worst-case risk that the {\em estimated} decision ({\em i.e.}, the decision implied by a particular candidate objective) differs from the agent's {\em actual} response to a random signal. We show that our framework offers attractive out-of-sample performance guarantees for different prediction errors and that the emerging inverse optimization problems can be reformulated as (or approximated by) tractable convex programs when the prediction error is measured in the space of objective values. A main strength of the proposed approach is that it naturally generalizes to situations where the observer has imperfect information, {\em e.g.}, when the agent's true objective function is not contained in the space of candidate objectives, when the agent suffers from bounded rationality or implementation errors, or when the observed signal-response pairs are corrupted by measurement noise.

研究の動機と目的

• 歴史的データが不完全、ノイズが多い、または汚染されている場合に、エージェントの真の目的関数を学習する課題に対処すること。
• 推定された意思決定と実際の意思決定の間の最悪事態リスクを最小化する分布ロバストなプログラムとして逆最適化を形式化すること。
• 有界合理性、測定誤差など、さまざまな不確実性の下での外挙動性能に関する理論的保証を提供すること。
• 予測誤差が目的関数値空間で測定される場合に、逆最適化問題を扱いやすい凸最適化問題に再定式化すること。
• 真の目的関数が候補となる目的関数の集合に含まれない状況に一般化された既存の逆最適化手法を提供すること。

提案手法

• 推定された応答と実際の応答の間の意思決定不一致の最悪事態リスクを最小化する分布ロバストなプログラムとして逆最適化問題を形式化すること。
• 観測データと整合する可能性のある目的関数の集合を考慮することで、エージェントの真の目的関数における不確実性をモデル化すること。
• 可能な信号の下で推定された意思決定と実際の意思決定の間の最悪事態期待偏差に基づくリスク尺度を用いること。
• 予測誤差が目的関数値空間で測定される場合に、逆問題を扱いやすい凸計画問題に再定式化すること。
• 最適行動と観測行動の間のずれを許容することで、有界合理性と実装誤差に対するロバスト性を組み込むこと。
• 信号-応答ペアにおける測定ノイズを扱うために、妥当なデータ汚染を反映する不確実性集合を組み込むこと。

実験結果

リサーチクエスチョン

• RQ1 歴史的データが不完全または汚染されている状況において、どのように逆最適化をロバストにすることでエージェントの好みを学習できるか？
• RQ2 有界合理性と実装誤差が、逆最適化における学習された目的関数の信頼性に与える影響は何か？
• RQ3 モデル不確実性下でも、分布ロバストなフレームワークが強力な外挙動性能保証を確保できるか？
• RQ4 どのような条件下で逆最適化問題を扱いやすい凸計画問題に再定式化できるか？
• RQ5 真の目的関数が候補となる目的関数の集合に含まれない場合、提案手法はどのように一般化されるか？

主な発見

• 提案されたフレームワークは、推定された意思決定と実際の意思決定の間の最悪事態リスクを最小化することで、強力な外挙動性能保証を提供する。
• 予測誤差が目的関数値空間で測定される場合、逆最適化問題は扱いやすい凸計画問題に再定式化できる。
• 真の目的関数の正確な知識が不要な状況でも、有界合理性、実装誤差、測定ノイズを自然に扱える。
• 観測データと整合する可能性のある目的関数の集合を考慮することで、モデル不適合に対するロバスト性を達成する。
• 信号と応答の両方における不確実性と不完全情報に対応できるように、既存の逆最適化手法を一般化する。
• 理論的取り扱いやすさを維持しながら、現実世界の応用におけるさまざまな不確実要因のモデリングに柔軟性を提供する。