[論文レビュー] Generalized Inverse Optimization through Online Learning

Chaosheng Dong, Yiran Chen+1 more|arXiv (Cornell University)|Oct 3, 2018

Sparse and Compressive Sensing Techniques被引用数 21

ひとこと要約

本稿では、逐次的に到着するノイズの多いデータから意思決定者の好みと制約をリアルタイムで推定できる、一般化逆最適化のための新規オンライン学習フレームワークを提案する。単一観測に基づく逆最適化に依拠する暗黙的更新則を用いることで、$Ø(1/\sqrt{T})$ の収束速度と統計的一致性を達成し、消費者行動問題およびトランシップ問題の両方において高い精度と頑健性を示す。バッチ手法に比べて顕著な計算上の利点を有する。

ABSTRACT

Inverse optimization is a powerful paradigm for learning preferences and restrictions that explain the behavior of a decision maker, based on a set of external signal and the corresponding decision pairs. However, most inverse optimization algorithms are designed specifically in batch setting, where all the data is available in advance. As a consequence, there has been rare use of these methods in an online setting suitable for real-time applications. In this paper, we propose a general framework for inverse optimization through online learning. Specifically, we develop an online learning algorithm that uses an implicit update rule which can handle noisy data. Moreover, under additional regularity assumptions in terms of the data and the model, we prove that our algorithm converges at a rate of $\mathcal{O}(1/\sqrt{T})$ and is statistically consistent. In our experiments, we show the online learning approach can learn the parameters with great accuracy and is very robust to noises, and achieves a dramatic improvement in computational efficacy over the batch learning approach.

研究の動機と目的

• バッチ逆最適化のリアルタイム応用における限界を克服すること、特にレコメンデーションシステムのような動的環境において。
• 新規データの到着に応じて段階的に好みと制約を更新できるスケーラブルなオンライン学習フレームワークの開発。
• 過去のデータを保存せずに、ノイズの多い観測に対して頑健でありながら、統計的一致性と計算効率を維持すること。
• 線形モデルやノイズなしの仮定にとどまらない、凸一般効用関数および制約への一般化を可能とする逆最適化の拡張。

提案手法

• 単一観測逆最適化サブルーチンをコア更新メカニズムとして用い、オンライン学習問題として逆最適化を定式化する。
• 過去のデータを保存せず、到着する（信号、ノイズ付き意思決定）ペアに基づいて動的にパラメータを調整する暗黙的更新則を採用する。
• 正則性条件の下でレグレットバウンドの解析を実施し、収束速度が $\mathcal{O}(1/\sqrt{T})$ であることを証明する。
• 既存の研究から得られた一貫性結果と組み合わせることで、統計的一致性を確立する。
• フレームワークを2つの実世界問題に適用する：消費者行動モデリングと凸二次コストを有するトランシップネットワークのコスト推定。
• 学習率 $\eta_t = 2/\sqrt{t}$ を使用し、実験ではコールドスタート初期化を用いてアルゴリズム1を実装する。

実験結果

リサーチクエスチョン

• RQ1 ノイズの多い観測を持つ逐次的データストリームに対して、逆最適化が効果的に適応可能か。
• RQ2 提案された暗黙的オンライン学習アルゴリズムは、現実的なデータ条件のもとで収束性および統計的一致性を達成するか。
• RQ3 精度と計算効率の観点から、オンライン手法はバッチ逆最適化に比べてどのように性能を発揮するか。
• RQ4 線形性やノイズなしの仮定を必要とせず、一般凸効用関数および制約を扱えるか。
• RQ5 実世界の意思決定データにおけるノイズに対して、アルゴリズムはどの程度頑健か。

主な発見

• アルゴリズムは $\mathcal{O}(1/\sqrt{T})$ の収束速度を達成し、理論的性能保証が裏付けられた。
• 統計的一致性が保証されており、逆モデルが許容する最小の予測誤差に漸近的に到達することが示された。
• トランシップ問題において、100回の繰り返しにおいて輸送コストの推定誤差が真の値に急速に収束し、ノイズに対して高い頑健性を示した。
• 平均累積損失は、ノイズ分散（$\mathbf{E}[\epsilon^T\epsilon] = 0.1667$）に漸近的に近づき、ノイズ下でも安定した学習を確認した。
• バッチ学習に比べて計算時間を顕著に短縮し、リアルタイムでの好みの同定が可能になった。
• 複数回の実行において推定誤差の分散が低く保たれ、ノイズ環境下でも信頼性と一貫性を示した。