[論文レビュー] Morfessor EM+Prune: Improved Subword Segmentation with Expectation Maximization and Pruning

Stig-Arne Grönroos, Sámi Virpioja+1 more|arXiv (Cornell University)|Mar 6, 2020

Natural Language Processing Techniques被引用数 14

ひとこと要約

本稿では、反復的プリーニングを用いた期待値最大化（EM）に基づく改善型トレーニングアルゴリズム、Morfessor EM+Prune を提案する。この手法は、Morfessor Baseline のサブワード分割モデルのトレーニングを向上させ、英語、フィンランド語、トルコ語においてより高い形態素分割精度を達成するとともに、特定のハイパーパrameter設定下で SentencePiece のサブワード分割手法と同等の性能を示す。本手法のオープンソース実装は、Morfessor ツールキットに公開されている。

ABSTRACT

Data-driven segmentation of words into subword units has been used in various natural language processing applications such as automatic speech recognition and statistical machine translation for almost 20 years. Recently it has became more widely adopted, as models based on deep neural networks often benefit from subword units even for morphologically simpler languages. In this paper, we discuss and compare training algorithms for a unigram subword model, based on the Expectation Maximization algorithm and lexicon pruning. Using English, Finnish, North Sami, and Turkish data sets, we show that this approach is able to find better solutions to the optimization problem defined by the Morfessor Baseline model than its original recursive training algorithm. The improved optimization also leads to higher morphological segmentation accuracy when compared to a linguistic gold standard. We publish implementations of the new algorithms in the widely-used Morfessor software package.

研究の動機と目的

• Morfessor Baseline モデルのトレーニングアルゴリズムを改善し、探索誤差を低減し、分割品質を向上させること。
• Morfessor EM+Prune、グリーディー・ユニグラム尤度、SentencePiece、Morfessor Baseline を含む、複数のユニグラムベースのサブワード分割手法を比較すること。
• 提案された EM+Prune アルゴリズムが、元の再帰的トレーニング手法と比較して、より高い形態素分割精度を達成することを示すこと。
• 特定のハイパーパrameter設定下で、Morfessor EM+Prune が SentencePiece のサブワード分割動作を再現できることを示すこと。
• 広く使われている Morfessor ソフトウェアパッケージに、新アルゴリズムのオープンソース実装を公開し、広範な採用と再現可能性を促進すること。

提案手法

• Morfessor Baseline モデルの目的関数を最適化するために、修正された初期化と反復的プリーニングを組み合わせた期待値最大化（EM）アルゴリズムを採用する。
• サブワードユニットの発見を正則化するために、最小記述長（MDL）とディリクレ過程（DP）の二重事前分布を組み合わせたメカニズムを導入する。
• プリーニング後に一度だけ EM を実行する「ラテント-EM」バリアントを採用し、収束性を向上させ、局所最適解の影響を低減する。
• EM の更新において、希少サブワードユニットの確率推定を安定化させるために、カウントの減衰（count dampening）を適用する。
• トレーニング中に多様な分割仮説を探索するために、N-best デコーディングとサンプリングデコーディングを用いる。
• 過学習を防ぎ、トレーニング効率を向上させるために、コスト変化のしきい値に基づく停止基準を実装する。

実験結果

リサーチクエスチョン

• RQ1 Morfessor EM+Prune アルゴリズムは、元の Morfessor Baseline の再帰的トレーニングと比較して、顕著に探索誤差を低減し、分割品質を向上させることができるか？
• RQ2 Morfessor EM+Prune の性能は、形態素豊富な言語において、グリーディー・ユニグラム尤度や SentencePiece といった他のユニグラムベースのサブワードモデルと比較して、形態素分割精度で優れているか？
• RQ3 Morfessor EM+Prune が SentencePiece のサブワード分割動作を再現するには、どのようなハイパーパrameter設定が必要か？
• RQ4 MDL に加えて DP 事前分布を導入することで、リソースが乏しい言語や形態素豊富な言語において、サブワードユニットの発見がどの程度向上するか？
• RQ5 提案されたアルゴリズムは、事前トークン化や言語学的リソースを必要とせずに、既存の NLP パイプラインに効果的に統合可能か？

主な発見

• Morfessor EM+Prune はトレーニング中の探索誤差を低減し、英語、フィンランド語、トルコ語において、元の Morfessor Baseline よりも高い形態素分割精度を達成した。
• 特に形態素豊富な言語において、グリーディー・ユニグラム尤度および元の Morfessor Baseline と比較して、分割品質の面で優れた性能を示した。
• 特定のハイパーパラメータ設定下で、Morfessor EM+Prune は SentencePiece のリファレンス実装と同一のサブワード分割結果を生成し、互換性と頑健性を示した。
• コスト関数に MDL と DP の両方の事前分布を組み込むことで、特にリソースが乏しい状況下で、より安定的で言語学的に妥当なサブワードユニットが得られた。
• Morfessor EM+Prune のオープンソース実装は、広く使われている Morfessor ソフトウェアパッケージに公開され、NLP 分野における研究・応用の広範な採用と再現可能性を可能にした。
• 本手法は、リソースが豊富な言語からリソースが乏しい言語（例：ノーザン・サミ語など絶滅危惧言語を含む）まで、広範な言語環境で優れた性能を示し、多言語およびリソースが乏しい NLP の文脈における実用性を確認した。