[論文レビュー] Probabilistic Structured Predictors

Shankar Vembu, Thomas Gärtner+1 more|arXiv (Cornell University)|May 9, 2012

Markov Chains and Monte Carlo Methods参考文献 18被引用数 7

ひとこと要約

この論文は、出力空間からの効率的な一様抽出を活用して、確率的構造予測子における分割関数の新しい近似スキームを提案する。主な貢献は、正確な計算が困難な指数型分布族モデルにおける対数分割関数とその勾配の効率的かつスケーラブルな近似法であり、特に一様抽出が可能である場合に、MAP推論を高精度で実現可能にする。

ABSTRACT

We consider MAP estimators for structured prediction with exponential family models. In particular, we concentrate on the case that efficient algorithms for uniform sampling from the output space exist. We show that under this assumption (i) exact computation of the partition function remains a hard problem, and (ii) the partition function and the gradient of the log partition function can be approximated efficiently. Our main result is an approximation scheme for the partition function based on Markov Chain Monte Carlo theory. We also show that the efficient uniform sampling assumption holds in several application settings that are of importance in machine learning.

研究の動機と目的

• 構造的予測における指数型分布族モデルにおける正確な分割関数計算の計算的課題に対処すること。
• 正確な計算が困難な場合に、対数分割関数とその勾配のスケーラブルな近似法を開発すること。
• 出力空間からの効率的一様抽出が可能である条件を特定し、構造的予測における実用的な推論を可能にする条件を確立すること。
• 提案手法が実世界の機械学習応用において実現可能で効果的であることを示すこと。

提案手法

• 構造的出力を伴う指数型分布族モデルにおける分割関数のMCMCに基づく近似スキームを提案する。
• 出力空間からの効率的一様抽出を仮定することで、分割関数の推定が実行可能になる。
• マルコフ連鎖モンテカルロ法を用いて、サンプルの経験的平均を用いて対数分割関数とその勾配を推定する。
• 一様抽出の仮定の下で、近似が正確であることを示す理論的バウンディングを導出する。
• 出力空間の構造が効率的抽出を可能にするタスク（例：系列、木構造、グラフ）にこの手法を適用する。
• MAP推定を推論手法として採用し、近似された分割関数により適切な確率的モデリングを実現する。

実験結果

リサーチクエスチョン

• RQ1 正確な計算が困難な場合に、構造的指数型分布族モデルにおける分割関数を効率的に近似できるか？
• RQ2 出力空間からの効率的一様抽出が、構造的予測におけるスケーラブルな推論を可能にする条件は何か？
• RQ3 実際の応用において、MCMCに基づく対数分割関数とその勾配の近似はどの程度の精度を達成するか？
• RQ4 一様抽出の仮定の下で、提案された近似スキームに理論的保証は存在するか？

主な発見

• 出力空間からの一様抽出が効率的であっても、分割関数の正確な計算は依然としてNP困難のままである。
• 提案されたMCMCに基づく近似スキームは、対数分割関数とその勾配の推定に対してスケーラブルで高精度な手法を提供する。
• 出力空間が効率的一様抽出を可能にする場合（例：系列モデルや木構造出力）、実用的に高い精度を達成する。
• 理論的分析により、一様抽出の仮定の下で近似誤差が有界であることが確認された。
• このアプローチにより、確率的構造予測子を用いた構造的予測タスクにおける有効なMAP推定が可能になる。