[論文レビュー] Approximation-Aware Dependency Parsing by Belief Propagation

Matthew R. Gormley, Mark Dredze+1 more|arXiv (Cornell University)|Aug 10, 2015

Topic Modeling参考文献 32被引用数 5

ひとこと要約

本稿では、信念伝播を用いた依存解析における近似に配慮した学習を提案し、全推論パイプラインを微分可能な回路として扱い、近似推論を通じて逆誤差伝搬を行う。条件付き対数尤度ではなく、実際の解析精度を最適化することで、特に早期停止や刈り込み制約下でも、反復回数を減らしても高い精度を達成する。

ABSTRACT

We show how to train the fast dependency parser of Smith and Eisner (2008) for improved accuracy. This parser can consider higher-order interactions among edges while retaining O(n^3) runtime. It outputs the parse with maximum expected recall -- but for speed, this expectation is taken under a posterior distribution that is constructed only approximately, using loopy belief propagation through structured factors. We show how to adjust the model parameters to compensate for the errors introduced by this approximation, by following the gradient of the actual loss on training data. We find this gradient by back-propagation. That is, we treat the entire parser (approximations and all) as a differentiable circuit, as Stoyanov et al. (2011) and Domke (2010) did for loopy CRFs. The resulting trained parser obtains higher accuracy with fewer iterations of belief propagation than one trained by conditional log-likelihood.

研究の動機と目的

• 高次の依存解析器における近似推論と、正確な推論を仮定する標準的な学習の間のギャップを埋めるため。
• ループを含む信念伝播や早期停止などの近似推論手法を用いる際の解析精度を向上させるため。
• 推論の近似を考慮した学習フレームワークを構築し、代理尤度目的関数ではなく、実際の評価指標（例：F1 や UAS）を最適化することで、学習とテスト時のパフォーマンスを一致させるため。
• 信念伝播中の近似誤差を補償できるようにモデルを学習させることで、より高速かつ正確な推論を実現するため。
• 木形成要因を含むようなグローバル制約を持つ構造的モデル、例えば木制約付き依存解析に、ERMAフレームワークを拡張するため。

提案手法

• ループを含む信念伝播、刈り込み、推論の近似を含む全解析システムを、微分可能な計算グラフとして扱う。
• 実際の解析損失（例：F1 や UAS）の勾配を、近似推論プロセスを通じて逆誤差伝搬で計算する。
• 推定されたエッジの周辺確率と正例のエッジインジケータとの間のL2距離に基づく滑らかで微分可能な目的関数を定義する。
• 木制約などの構造的要因を処理するために、信念伝播内にインサイドアウトサイドアルゴリズムをサブルーチンとして統合する。
• 条件付き対数尤度ではなく、真の評価目的関数に基づいて勾配降下法でモデルを学習させ、学習段階とテスト段階のパフォーマンスを一致させる。
• サイクルを含む依存関係を持つ因子グラフを用いて、グランドパrentやきょうだい要因を含む高次の依存解析モデルにこの手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 信念伝播中に生じる近似誤差をモデルが補償できるように学習させることで、依存解析精度を向上させられるか？
• RQ2 推論が近似である状況下で、実際の解析パフォーマンス（例：F1 や UAS）を最適化する方が、標準的な条件付き対数尤度学習を上回るか？
• RQ3 信念伝播を早期に停止するか、刈り込みで探索空間を制限した場合、近似に配慮した学習は性能にどのように影響するか？
• RQ4 構造的要因を含む信念伝播の微分可能定式化が、テスト時の精度を向上させるエンドツーエンド学習を可能にするか？
• RQ5 推定された周辺確率と正例との間のL2ベース目的関数は、従来の損失関数と比較して、近似推論環境下でより良い一般化性能を示すか？

主な発見

• 英語 Penn Treebank では、近似に配慮したパーサーが、反復回数を減らしても標準的な条件付き対数尤度学習よりも高い UAS を達成する。
• 19ヶ国語の CoNLL-2006/2007 データセット全体で平均すると、L2ベースの近似に配慮した学習は、条件付き対数尤度学習よりも UAS で 0.31 ポints 向上させる。
• 信念伝播の反復回数が少ない場合に特に顕著な向上が見られ、早期停止に対する補償が効果的であることが示された。
• 第一順位の刈り込みと早期停止を適用しても、標準的な学習を上回る性能を示しており、推論の近似に対して強い耐性を示している。
• 推定されたエッジ周辺確率と正例との距離を最小化する L2 目的関数は、従来の尤度ベース学習よりも一般化性能に優れている。
• 文法解析や意味解析など、インサイドアウトサイドアルゴリズムを用いる他の構造的要因を持つモデルに対しても、本手法は汎用的に適用可能である。