[論文レビュー] Faster decoding for subword level Phrase-based SMT between related languages

Anoop Kunchukuttan, Pushpak Bhattacharyya|arXiv (Cornell University)|Nov 1, 2016

Natural Language Processing Techniques参考文献 18被引用数 5

ひとこと要約

本稿では、関連語族言語向けのサブワードレベルの句ベース統計的機械翻訳（SMT）におけるデコード速度を向上させる最適化手法を提案する。主にデコーダーのパラメータとデータフォーマットに焦点を当て、キューブ・プルーニングを用い、スタックポップ制限を低くすることで、デコード速度を最大19倍に向上させるとともに、語彙レベルのデコードと同等の翻訳品質を維持する。

ABSTRACT

A common and effective way to train translation systems between related languages is to consider sub-word level basic units. However, this increases the length of the sentences resulting in increased decoding time. The increase in length is also impacted by the specific choice of data format for representing the sentences as subwords. In a phrase-based SMT framework, we investigate different choices of decoder parameters as well as data format and their impact on decoding time and translation accuracy. We suggest best options for these settings that significantly improve decoding time with little impact on the translation accuracy.

研究の動機と目的

• サブワード単位を用いることで文の長さが増加し、効率性が低下するため、句ベースSMTシステムにおける高いデコード時間の問題に対処すること。
• 異なるサブワード表現フォーマット（区切り記号、内部マーカー、スペース記号）がデコード時間と翻訳精度に与える影響を調査すること。
• 特にキューブ・プルーニングとスタックポップ制限といったデコーダーのパラメータがデコード性能と翻訳品質に与える影響を評価すること。
• 翻訳品質に顕著な損失を来さずに、サブワードレベルSMTにおけるチューニングおよびデコード時間を短縮し、より迅速な実験と導入を可能にすること。
• 低リソースで関連語族言語を対象とする実用的なサブワードレベルSMTの展開に関する推奨事項を提供すること。

提案手法

• 語彙の形態的複雑さの影響を軽減するため、語彙的音節をサブワード単位として採用した。
• サブワード表現の3種類のフォーマット（区切り記号、内部マーカー、スペース記号）を評価し、デコード時間と精度に与える影響を分析した。
• デコードの早期段階で有望でない仮説をプルーニングすることで、デコード速度を向上させるためにチューニングおよびテスト段階でキューブ・プルーニングを適用した。
• アクティブな仮説数を制御するため、デコーダーのスタックポップ制限パラメータを変化させ、計算負荷を低減するための低い値をテストした。
• インド・アーリア語族およびドラヴィダ語族の4つの言語対（ヒンディ＝マラヤーラム、ベンガル＝ヒンディ、テルグ＝マラヤーラムなど）を対象に、ILCI並列コーパスを用いて性能を評価した。
• 語彙レベルのデコードとの相対的なデコード時間を測定し、BLEUスコアを報告することで、翻訳品質のトレードオフを評価した。

実験結果

リサーチクエスチョン

• RQ1 句ベースSMTにおけるサブワード表現フォーマットの選択（区切り記号、内部マーカー、スペース記号）が、デコード時間と翻訳精度に与える影響は何か？
• RQ2 チューニングおよびテスト段階でキューブ・プルーニングを適用することで、翻訳品質への影響を最小限に抑えつつ、どの程度デコード速度が向上するか？
• RQ3 サブワードレベルSMTにおいて、デコード速度と翻訳パフォーマンスの両立を最適化するスタックポップ制限の最適値は何か？
• RQ4 キューブ・プルーニングと効率的なデータフォーマットの組み合わせにより、翻訳品質を著しく低下させることなく、チューニングおよびデコード時間を短縮できるか？
• RQ5 語彙レベルモデルと比較して、異なるサブワード単位（例：語彙的音節）は、文の長さとデコード効率においてどのように異なるか？

主な発見

• スタックポップ制限を1000に設定したキューブ・プルーニングを用いることで、語彙レベルのデコードと比較してデコード時間を最大19倍に短縮でき、BLEUスコアの低下は最小限に抑えられた。
• スペース記号フォーマットと区切り記号フォーマットは、デコード速度および翻訳精度において類似した性能を示し、ben-hin対においてそれぞれ33.12および32.83のBLEUスコアを達成した。
• 内部マーカー形式は、デコード時間と同程度の性能を示したが、翻訳精度が低く（例：ben-hin対で30.10のBLEU）、不適切であると判明した。
• 相対的デコード時間は内部マーカー形式が最も高く（mal-hin対で17.06倍）、スペース記号および区切り記号フォーマットがより効率的であった（それぞれ7.68倍および7.44倍）。
• チューニング段階においてもこれらの最適化が効果を発揮し、キューブ・プルーニングと低減されたスタックポップ制限により、デコーダーのイテレーションが高速化され、チューニング時間の短縮が達成された。
• 翻訳精度は語彙レベルの性能に近く保たれた（例：語彙レベルで31.62のBLEU、ben-hin対のスペース記号形式で33.12）ため、品質の著しい低下は見られなかった。