[論文レビュー] Smoothing parameter estimation framework for IBM word alignment models

Vuong Van Bui, Cuong Anh Le|arXiv (Cornell University)|Jan 14, 2016

Natural Language Processing Techniques参考文献 18被引用数 3

ひとこと要約

本稿では、IBM語対応モデルにおける平滑化パラメータ推定の一般化フレームワークを提案する。Moore (2004) の加法的平滑化を拡張し、学習可能で信頼パラメータに従って調整可能な個々の語対ごとの平滑化量を許容する。このフレームワークは、事前平滑化戦略の影響をスケーリングすることにより、ロバスト性を向上させる。実験の結果、誤差回数の平滑化近似が最良の対応性能を示し、標準的尤度法や離散誤差回数法を上回ることを確認した。

ABSTRACT

IBM models are very important word alignment models in Machine Translation. Following the Maximum Likelihood Estimation principle to estimate their parameters, the models will easily overfit the training data when the data are sparse. While smoothing is a very popular solution in Language Model, there still lacks studies on smoothing for word alignment. In this paper, we propose a framework which generalizes the notable work Moore [2004] of applying additive smoothing to word alignment models. The framework allows developers to customize the smoothing amount for each pair of word. The added amount will be scaled appropriately by a common factor which reflects how much the framework trusts the adding strategy according to the performance on data. We also carefully examine various performance criteria and propose a smoothened version of the error count, which generally gives the best result.

研究の動機と目的

• スパースな訓練データによるIBM語対応モデルの過学習を緩和すること。
• Moore (2004) の加法的平滑化を一般化し、語対ごとにカスタマイズ可能な平滑化量を許容すること。
• 開発データの性能に基づき、平滑化戦略への信頼度を動的に調整するメカニズムを構築すること。
• 尤度と誤差回数の変種を含む、平滑化信頼パラメータλの学習のための目的関数を評価・最適化すること。
• 離散的誤差回数の連続的で微分可能な近似を提案し、最適化の安定性と性能を向上させること。

提案手法

• ディリクレ事前分布を用いたベイジアン枠組み内で加法的平滑化を形式化し、Mooreの手法を特別なケースとして一般化する。
• 開発データから学習可能なスケーリングパラメータλを導入し、平滑化戦略への全体的な信頼度を制御する。
• 最適化を効果的に行えるように、離散的対応誤差回数（AER）の連続的で微分可能な近似を提案する。
• 複数の平滑化戦略を評価する：定数の追加（Mooreの手法）、ソース語頻度カウントの追加、Dice係数に基づく値の追加。
• パラメータ推定に期待最大化（EM）を用い、一般化された事前分布をMステップに統合する。
• 尤度の最大化と平滑化誤差回数の両方を目的関数として用い、信頼パラメータλを最適化する。

実験結果

リサーチクエスチョン

• RQ1 Mooreの加法的平滑化を一般化し、個々の語対ごとの平滑化量を許容しつつ、ロバスト性を維持できるフレームワークを設計可能か？
• RQ2 提案されたフレームワーク下で、定数、頻度ベース、Diceベースの異なる平滑化戦略の性能はどのように比較されるか？
• RQ3 平滑化信頼パラメータλの最適化を可能にする目的関数として、どの関数が最良か？連続性は性能にどのように影響するか？
• RQ4 劣化した平滑化戦略を用いても、フレームワークが性能を維持または向上させられるか？
• RQ5 離散的誤差回数と尤度ベースの目的関数に比べ、平滑化誤差回数近似はどの程度有効か？

主な発見

• 平滑化誤差回数目的関数は、元の離散的誤差回数と尤度ベースの目的関数を常に上回る対応性能を示した。
• 提案された誤差回数の連続的近似により、最適化がより効果的に行われ、特に困難な状況下でAERが顕著に改善された。
• 定数値の追加（Mooreの手法）は、評価された3つの戦略の中で最も優れた性能を示したが、フレームワークにより将来的なより良い手法の発見が可能となった。
• 頻度ベースやDiceベースの追加といった劣化した平滑化戦略に対しても、適応的λスケーリング機構のおかげで、フレームワークは性能を安定的に維持した。
• アノテーション付き開発データが利用できない状況では、非アノテートデータの尤度が代替目的関数として妥当であり、低リソース環境での応用が有望であることが示された。
• 信頼パラメータλは、開発データとテストデータのデータ不一致に敏感であり、λ=0よりも非常に小さな正の値が開発では優れた性能を示したが、テストでは劣化することが多かった。