[論文レビュー] Approximated Structured Prediction for Learning Large Scale Graphical Models

Tamir Hazan, Raquel Urtasun|arXiv (Cornell University)|Jun 15, 2010

Machine Learning and Data Classification参考文献 28被引用数 4

ひとこと要約

本稿では、双対最適化とメッセージパッシングアルゴリズムを活用して、大規模なグラフィカルモデルの学習を目的とした近似構造予測フレームワークを提案する。この研究では、エントロピー正則化付きソフトマックスとℓp-ノルム正則化を用いて複雑な依存関係を効率的に扱う、原点・双対ブロック座標降下法を導入し、凸条件ではグローバル最適解に収束し、それ以外では停留在点に収束することを実現する。

ABSTRACT

This manuscripts contains the proofs for "A Primal-Dual Message-Passing Algorithm for Approximated Large Scale Structured Prediction".

研究の動機と目的

• 複雑な依存関係と高次元出力空間を有する大規模グラフィカルモデルの学習という課題に対処すること。
• 双対分解を用いた構造予測の近似により、大規模問題にスケーリング可能な効率的最適化フレームワークを構築すること。
• 双対プログラムにエントロピー正則化とℓp-ノルム正則化を組み込むことで、最適化の収束性と安定性を保証すること。
• 元の問題を双対かつ制約のない最適化問題に変換することで、大規模データセット上での構造予測モデルの実用的トレーニングを可能にすること。

提案手法

• 補助変数μ(x,ŷ)を用いて構造予測問題を再定式化し、ソフトマックスと正則化を分離することで双対化を可能にする。
• マージナル化と等式制約に対してラグランジュ乗数p_{x,y}(ŷ)を用いたラグランジュ緩和を用いて双対プログラムを導出する。
• 共役双対性を活用：ソフトマックスにはエントロピー・バリア、ℓp-ノルム正則化にはℓq-ノルムの共役を適用し、エントロピー項とノルム項を含む双対目的関数を得る。
• 局所的マージナルを表す信念変数b_{x,y,v}(ŷ_v)とb_{x,y,α}(ŷ_α)を導入し、双対変数λ_{x,y,v→α}(ŷ_v)に基づくメッセージパッシング更新を実施する。
• 信念、メッセージ、θ_rの双対変数のブロック座標降下を適用し、近似された原問題の目的関数を反復的に最小化する。
• εまたはc_v = 0の場合の部分勾配を扱うためにダンスキンの定理を用い、滑らかでない場合でも勾配ベースの更新が有効であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 高次元出力空間を有する大規模グラフィカルモデルに対して、構造予測をどのように効率的に近似できるか？
• RQ2 ℓp-ノルム正則化を伴う構造予測において、収束保証とスケーラブルな最適化を可能にする双対定式化は何か？
• RQ3 ブロック座標降下法がグローバル最適解または停留在点に収束する条件は何か？
• RQ4 エントロピー正則化と信念パラメータの伝搬が、局所的およびグローバル制約の整合性をどのように維持するか？
• RQ5 双対変数とメッセージパッシングは、双対最適化におけるマージナル化制約をどのように強制するか？

主な発見

• ε, c_α, c_v > 0のとき、構造予測問題の双対プログラムは双対変数に関して厳密に凹関数であり、グローバル最小値への収束を保証する。
• 凸性条件が成り立つ場合、ブロック座標降下法は目的関数を単調に減少させ、双対プログラムの唯一の解に収束する。
• ε, c_α > 0かつc_v < 0のとき、問題は非凸化するが、アルゴリズムは依然として原問題および双対プログラムの停留在点に収束する。
• メッセージパッシング更新の構造のおかげで、停留在信念はマージナル化制約を満たし、局所的およびグローバルマージナルの整合性が保証される。
• εとc_αが0のとき、信念は最大信念構成に設定され、更新則は部分勾配に対応するが、ダンスキンの定理により有効性が維持される。
• 近似された構造予測関数の勾配が、局所的信念がそのグローバルマージナルと一致するときにちょうど0になることから、ラグランジアンの鞍点に収束していることが確認される。