[論文レビュー] Bethe Projections for Non-Local Inference

Luke Vilnis, David Belanger+2 more|arXiv (Cornell University)|Mar 4, 2015

Domain Adaptation and Few-Shot Learning参考文献 23被引用数 7

ひとこと要約

この論文では、マージナル分布上の非局所的・非凸的エネルギー関数を学習することにより、構造予測における扱いやすい高速推論を可能にする非ユークリッド的射影勾配法、Bethe Projections を導入する。Betheエントロピーを距離生成関数として用いることで、判別的学習と証明可能に収束する最適化を組み合わせることで、引用抽出、手書き文字認識、集団的グラフィカルモデルの分野で最先端の結果を達成する。

ABSTRACT

Many inference problems in structured prediction are naturally solved by augmenting a tractable dependency structure with complex, non-local auxiliary objectives. This includes the mean field family of variational inference algorithms, soft- or hard-constrained inference using Lagrangian relaxation or linear programming, collective graphical models, and forms of semi-supervised learning such as posterior regularization. We present a method to discriminatively learn broad families of inference objectives, capturing powerful non-local statistics of the latent variables, while maintaining tractable and provably fast inference using non-Euclidean projected gradient descent with a distance-generating function given by the Bethe entropy. We demonstrate the performance and flexibility of our method by (1) extracting structured citations from research papers by learning soft global constraints, (2) achieving state-of-the-art results on a widely-used handwriting recognition task using a novel learned non-convex inference procedure, and (3) providing a fast and highly scalable algorithm for the challenging problem of inference in a collective graphical model applied to bird migration.

研究の動機と目的

• 木幅が高く、推論が困難になるため、グラフィカルモデルがグローバルな依存関係を捉えられないという制限に対処すること。
• 局所的なクライークや線形制約を越えた、複雑な非局所的推論目的の判別的学習を可能にすること。
• 構造予測における凸的および非凸的非局所エネルギー関数を統一的かつ効率的に取り扱うフレームワークを提供すること。
• 集団的グラフィカルモデル（CGMs）における推論をスケーリングするために、高価な内点法ソルバーよりも高速なプロキシマル勾配法に置き換えること。

提案手法

• 標準的なマージナル推論に、マージナルベクトル $ \boldsymbol{\mu} $ に対するパラメトリックで非線形な関数 $ L_{\boldsymbol{\psi}}(\boldsymbol{\mu}) $ を追加することで、非凸的推論目的を提案する。これによりグローバルな正則性が実現可能になる。
• Betheエントロピーを距離生成関数として用いる非ユークリッド的射影勾配降下法を採用し、プライム可能性を維持するとともに収束を保証する。
• 凸的 $ L_{\boldsymbol{\psi}} $ の場合、最適解への収束が保証される。非凸的 $ L_{\boldsymbol{\psi}} $ の場合、局所最適解への収束が証明される。
• 各イテレーションでBetheエントロピーを用いた射影ステップを含むプロキシマル勾配フレームワークを採用し、効率的な最適化を実現する。
• ブラックボックス推論サブルーチンをラッパーとして統合することで、モジュラーかつ実装が容易な手法となる。
• 拡張された目的関数を近似的な変分推論として解釈することで、$ \boldsymbol{\theta} $ と $ \boldsymbol{\psi} $ の両方の判別的学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 モデルの複雑さを増さずに、グローバル整合性を強制する表現力のある非局所的推論目的を学習可能か？
• RQ2 非凸的・非局所的制約を組み込む際、推論の扱いやすさを保ちながらも、構造予測に統合可能か？
• RQ3 内点法を射影勾配降下法に置き換えることで、集団的グラフィカルモデルにおける推論をより高速化可能か？
• RQ4 引用抽出や手書き文字認識といったグローバル構造を要するタスクにおいて、提案手法が既存のベースラインを上回るか？
• RQ5 高次元でノイズの多い集計観測が存在する現実世界の問題、例えば渡り鳥の移動モデリングに、このフレームワークを適用可能か？

主な発見

• 引用抽出タスクにおいて、ソフトなグローバル制約を学習することで最先端の性能を達成し、強力なデュアル分解ベースラインを上回った。
• 広く使われている手書き文字認識ベンチマークにおいて、学習された非凸的推論手順が最先端の結果を達成し、非局所モデリングの有効性を示した。
• 集団的グラフィカルモデルにおいて、提案アルゴリズムは50,000ノードの問題で推論時間を内点法ソルバーの690秒から14秒に短縮したが、精度に損なわれはなかった。
• 最適化の全過程でプライム可能性が維持されるため、任意の時点で実行可能なアルゴリズムとして利用可能である。
• 高次元特徴を伴う場合でも、制約付きの55クラスのロジスティック回帰ベースラインは構造的モデルに劣り、局所的・グローバルな相互作用をモデル化することの重要性が浮き彫りになった。
• フレームワークは非常にスケーラブルかつ汎用的であり、収束性が保証された凸的および非凸的非局所エネルギー関数を両方サポートする。