[論文レビュー] On Correcting Inputs: Inverse Optimization for Online Structured Prediction

Hal Daumé, Samir Khuller+2 more|arXiv (Cornell University)|Jan 1, 2015

Topic Modeling参考文献 1被引用数 3

ひとこと要約

本論文は、所望の出力が保証されたマージンで最適となるように入力特徴量を補正する、オンライン構造的予測のための新規な逆最適化フレームワークを提案する。マトロイド、マッチング、最短経路などの組合せ構造に対してδマージン逆最適化問題を定式化し、それをパassive-aggressiveオンライン学習アルゴリズムに統合することで、収束性と有界なヘッジ損失を達成し、一般化性能と誤差バウンドに関する理論的保証を伴う頑健な構造的予測を可能にする。

ABSTRACT

Algorithm designers typically assume that the input data is correct, and then proceed to find "optimal" or "sub-optimal" solutions using this input data. However this assumption of correct data does not always hold in practice, especially in the context of online learning systems where the objective is to learn appropriate feature weights given some training samples. Such scenarios necessitate the study of inverse optimization problems where one is given an input instance as well as a desired output and the task is to adjust the input data so that the given output is indeed optimal. Motivated by learning structured prediction models, in this paper we consider inverse optimization with a margin, i.e., we require the given output to be better than all other feasible outputs by a desired margin. We consider such inverse optimization problems for maximum weight matroid basis, matroid intersection, perfect matchings, minimum cost maximum flows, and shortest paths and derive the first known results for such problems with a non-zero margin. The effectiveness of these algorithmic approaches to online learning for structured prediction is also discussed.

研究の動機と目的

• 構造的予測において入力データが誤りまたは近似値である場合の制限、特にオンライン学習設定における問題に対処すること。
• 所望の出力が最適であるだけでなく、すべての代替出力よりも明確にマージンδ以上優れているように、特徴量重みを補正するフレームワークを開発すること。
• ゼロマージンのL1/L∞ノルムにとどまらず、より一般的で実用的に関連性の高いL2ノルム最小化に拡張した非ゼロマージンの逆最適化を実現すること。
• 逆最適化をサブルーチンとして用いるオンライン構造的予測における理論的収束性と誤差バウンドを提供すること。
• L2正則化付き摂動を用いて大マージン解を保証することで、構造的予測モデルの一般化性能を向上させること。

提案手法

• 最大重みマトロイド基底、マトロイドインターセクション、完全マッチング、最小費用最大流、最短経路といった主要な組合せ構造に対して、δマージン逆最適化問題を定式化する。
• 構造的予測学習問題を逆最適化タスクに再定式化する：所望の出力が与えられたとき、その出力がマージンδで最適となるように、特徴量重みに対する最小L2ノルム摂動を求める。
• オンライン学習に適したPassive-Aggressive MIRAアルゴリズムを変更し、各更新でδマージン逆最適化問題を解いてモデルパラメータを補正する。
• 逆最適化サブ問題からの双対変数を用いて、累積損失と収束性に関する理論的バウンドを導出する。
• 出力が離散的で組合せ的構造である依存関係解析（有向ループなし木）や機械翻訳（マッチング）といった構造的予測タスクにフレームワークを適用する。
• 各訓練例がδ逆最適化サブ問題をトリガーする汎用的な学習フレームワークを採用し、モデルパラメータθを更新する。

実験結果

リサーチクエスチョン

• RQ1 逆最適化は、所望の出力とすべての他の可能な出力との間に非ゼロマージンδを強制できるか？
• RQ2 L2ノルム最小化を用いて特徴量重みを摂動させることで、所望の構造的出力がマージンδで最適となるようにできるか？
• RQ3 δマージン逆最適化をサブルーチンとして用いるオンライン構造的予測において、どのような理論的保証が得られるか？
• RQ4 MIRAアルゴリズムの収束性と誤差バウンドは、逆最適化をコアサブルーチンとして用いる構造的予測モデルに拡張可能か？
• RQ5 提案された逆最適化アルゴリズムは、マトロイド、マッチング、フローといった多様な組合せ的構造において、どのように性能を発揮するか？

主な発見

• 本論文は、マトロイド基底、マトロイドインターセクション、完全マッチング、最小費用フロー、最短経路といった複数の組合せ的構造において、L2ノルム最小化を伴うδマージン逆最適化の、これまでに知られていた最初のアルゴリズムを提示する。
• 理論的収束性が証明された：双対変数の累積和はTに依存しない定数で有界であるため、アルゴリズムは収束することが示された。
• T回の試行における総ヘッジ損失は、Tに依存しない定数で有界であり、具体的には ≤ 8A(R||θ∗||/δ∗)² である。これは、アルゴリズムが最終的に正しい予測を達成することを意味する。
• このフレームワークにより、大マージン解を保証する構造的予測モデルの学習が可能となり、既存の学習理論が示すように一般化性能が向上することが裏付けられる。
• 適切な逆最適化サブ問題を解くことで、依存関係解析（有向ループなし木を介して）や機械翻訳（マッチングを介して）といった多様な構造的予測タスクに一般化可能である。
• 逆最適化をコアサブルーチンとして用いる構造的予測設定において、MIRAアルゴリズムの誤差バウンドと収束バウンドが拡張された。