[論文レビュー] Piecewise Training for Undirected Models

Charles Sutton, Andrew McCallum|arXiv (Cornell University)|Jul 4, 2012

Topic Modeling参考文献 16被引用数 146

ひとこと要約

この論文は、各クライークごとに独立して局所的分類器を学習し、それを統合してグローバルモデルを構築する、非方向的モデルのピecewise学習を提案する。この手法は、対数パーティション関数の上界を最小化することにより正当化され、3つのNLPデータセットにおいて偽尤度法よりも高い精度を達成し、グローバル学習と同等の性能を示した。

ABSTRACT

For many large undirected models that arise in real-world applications, exact maximumlikelihood training is intractable, because it requires computing marginal distributions of the model. Conditional training is even more difficult, because the partition function depends not only on the parameters, but also on the observed input, requiring repeated inference over each training example. An appealing idea for such models is to independently train a local undirected classifier over each clique, afterwards combining the learned weights into a single global model. In this paper, we show that this piecewise method can be justified as minimizing a new family of upper bounds on the log partition function. On three natural-language data sets, piecewise training is more accurate than pseudolikelihood, and often performs comparably to global training using belief propagation.

研究の動機と目的

• パーティション関数が計算不能であるため、大規模な非方向的モデルにおける正確な最尤学習が困難であるという問題に対処すること。
• 観測された入力に依存するパーティション関数をもつ条件付きモデルのスケーラブルな学習手法を開発すること。
• 各クライークごとに局所モデルを学習するピースワイズ学習を、グローバル学習の根拠ある代替手法として正当化すること。
• 実世界のNLPデータセットにおいて、ピースワイズ学習を偽尤度法および信念伝播に基づくグローバル学習と比較すること。

提案手法

• この手法は、グラフィカルモデルの各クライークに対して、局所的な非方向的分類器を独立に学習する。
• すべてのクライークから得た学習済み重みを統合して、単一のグローバルモデルを構築する。
• このアプローチは、対数パーティション関数の新しい上界の最小化として理論的に正当化される。
• 不確実なパーティション関数を近似するために、変分推論技術を用いて上界を導出する。
• 全モデルに対する完全な推論を避けるために、局所的なクライークに焦点を当てる。
• 最終的なグローバルモデルは、共同最適化を経ずに、局所パラメータを統合することで構築される。

実験結果

リサーチクエスチョン

• RQ1 局所的クライークのピースワイズ学習は、グローバルに一貫性があり、正確な非方向的モデルを生成できるか？
• RQ2 ピースワイズ学習は、対数パーティション関数の上界を最小化するという点で理論的に正当化されるか？
• RQ3 ピースワイズ学習は、偽尤度法および信念伝播に基づくグローバル学習と比較して、精度に優れているか？
• RQ4 条件付きモデルにおいて、パーティション関数が入力に依存する場合でも、ピースワイズ手法は性能を維持できるか？

主な発見

• ピースワイズ学習は、評価された3つの自然言語データセットすべてで偽尤度法よりも高い精度を達成した。
• 予測性能の観点から、信念伝播に基づくグローバル学習と同等の性能を示した。
• 理論的正当化により、ピースワイズ学習が対数パーティション関数の上界の族を最小化することが示された。
• このアプローチはスケーラブルであり、学習中の完全な推論の計算的負担を回避する。