[論文レビュー] Alternating Projections for Learning with Expectation Constraints

Kedar Bellare, Gregory Druck+1 more|arXiv (Cornell University)|May 9, 2012

Topic Modeling参考文献 14被引用数 59

ひとこと要約

本稿では、期待値制約を用いた学習のための交互射影アルゴリズムを提案する。目的関数はラベル付きデータと補助的モーメント制約を組み合わせており、反復的な情報とモーメントの射影によって最適化される。表現力のある構造的制約を用いた半教師あり学習において、最先端の性能を達成し、従来の制約駆動型手法よりも3%〜6%の精度向上を実現しながら、最適化中に不確実性を維持する。

ABSTRACT

We present an objective function for learning with unlabeled data that utilizes auxiliary expectation constraints. We optimize this objective function using a procedure that alternates between information and moment projections. Our method provides an alternate interpretation of the posterior regularization framework (Graca et al., 2008), maintains uncertainty during optimization unlike constraint-driven learning (Chang et al., 2007), and is more efficient than generalized expectation criteria (Mann & McCallum, 2008). Applications of this framework include minimally supervised learning, semisupervised learning, and learning with constraints that are more expressive than the underlying model. In experiments, we demonstrate comparable accuracy to generalized expectation criteria for minimally supervised learning, and use expressive structural constraints to guide semi-supervised learning, providing a 3%-6% improvement over stateof-the-art constraint-driven learning.

研究の動機と目的

• ラベルなしデータと補助的期待値制約を用いた、より効率的で不確実性を保持する学習手法の開発。
• 交互射影を用いた後方確率正則化フレームワークの代替的解釈の提供。
• 制約駆動型学習の限界、特に最適化中に不確実性が消失する問題の解決。
• 表現力のある構造的制約を組み込むことで、半教師ありおよび最小限の教師あり学習における性能の向上。
• 一般化期待値基準のスケーラブルな代替手法として、より優れた計算効率を提供。

提案手法

• 目的関数は、ラベル付きデータの尤度項と、期待値制約を強制する正則化項を組み合わせたものである。
• モデルパラメータで定義される情報多様体と、補助的期待値で定義されるモーメント制約多様体との間で、交互に射影を行う。
• 各イテレーションでは、現在のパラメータ推定値を最尤推定によって情報多様体に射影し、次に二次計画法によってモーメント制約多様体に射影する。
• 従来の制約駆動型学習手法とは異なり、最適化の全過程でモデルの不確実性を維持する。
• この手順は、制約付き最適化問題の双対問題におけるブロック座標降下法として導出される。
• 特定の形式の後方確率正則化と同等であることが示され、フレームワークに幾何的解釈を提供する。

実験結果

リサーチクエスチョン

• RQ1 交互射影は、期待値制約を用いた学習における、従来の手法の効率的で不確実性を保持する代替手段を提供できるか？
• RQ2 一般化期待値基準および制約駆動型学習と比較して、提案手法の正確性と効率性はどのように異なるか？
• RQ3 表現力のある構造的制約は、半教師あり学習における性能を顕著に向上させることができるか？
• RQ4 最適化中に不確実性を維持することで、制約付き学習設定での一般化性能が向上するか？
• RQ5 交互射影による後方確率正則化の幾何的およびアルゴリズム的解釈は何か？

主な発見

• 提案手法は、最小限の教師あり学習タスクにおいて、一般化期待値基準と同等の正確性を達成する。
• 半教師あり学習において、最先端の制約駆動型学習手法よりも3%〜6%の性能向上を実現する。
• アルゴリズムは最適化の全過程でモデルの不確実性を維持しており、制約駆動型アプローチで見られる不確実性の消失を回避する。
• 一般化期待値基準よりも、交互射影フレームワークは計算的により効率的である。
• 本手法は、情報多様体とモーメント多様体の間の交互射影として、後方確率正則化の幾何的解釈を提供する。
• 実験結果は、表現力のある構造的制約が、半教師あり設定におけるモデル性能を顕著に向上させることを確認する。