[論文レビュー] Connecting Phrase based Statistical Machine Translation Adaptation

Rui Wang, Hai Zhao+3 more|arXiv (Cornell University)|Jul 29, 2016

Natural Language Processing Techniques参考文献 26被引用数 10

ひとこと要約

この論文は、ドメイン外コーパスから有用な接続語句（ドメイン内バイリンガル語句対や単語語句n-gramを組み合わせて形成）を特定・統合することで翻訳性能を向上させる文脈ベースの統計的機械翻訳（SMT）適合手法を提案する。この手法は翻訳モデルおよび言語モデルの適合を改善し、ベースライン比で最大+1.6 BLEUの顕著な向上を達成するとともに、ニューラルネットワークベースの代替手法に比べて優れた効率性を示す。

ABSTRACT

Although more additional corpora are now available for Statistical Machine Translation (SMT), only the ones which belong to the same or similar domains with the original corpus can indeed enhance SMT performance directly. Most of the existing adaptation methods focus on sentence selection. In comparison, phrase is a smaller and more fine grained unit for data selection, therefore we propose a straightforward and efficient connecting phrase based adaptation method, which is applied to both bilingual phrase pair and monolingual n-gram adaptation. The proposed method is evaluated on IWSLT/NIST data sets, and the results show that phrase based SMT performance are significantly improved (up to +1.6 in comparison with phrase based SMT baseline system and +0.9 in comparison with existing methods).

研究の動機と目的

• 文単位のSMT適合には、ドメイン外文内にあっても有用なドメイン内コンテンツが無視されがちなという限界を解消すること。
• 文単位の選択に依存するのではなく、混合ドメインコーパスからの細分化された語句レベルの単位を活用することでSMT性能を向上させること。
• 計算コストの高いニューラルネットワークを回避しながらも高い性能を維持する、効率的で線形的な語句ベースの適合手法を開発すること。
• IWSLTおよびNISTベンチマークで翻訳モデルおよび言語モデルの適合を評価し、一貫した向上を示すこと。

提案手法

• 1つの語句の末尾と別の語句の先頭が重複するドメイン内語句対を組み合わせることで接続語句を特定し、ドメイン外データに出現する可能性のある新しい語句を形成する。
• ドメイン外語句表またはn-gram言語モデルに出現する接続語句のみを選択し、関連性と信頼性を保証する。
• 2つのフィルタリング戦略を適用：ドメイン内対ドメイン外のニューラルネットワークモデルを用いた確率推定と、出現確率（OP）ランク付けを用いて、頻度が高く信頼性の高い語句を優先する。
• 選択された接続語句を、元の翻訳確率または推定確率を用いてドメイン内翻訳モデルおよび言語モデルに統合する。
• 語句対およびn-gramのための追加特徴として、ドメイン内ニューラルネットワーク確率（$Q_{in}$）を組み込み、デコードを強化する。
• OPベースまたはNNベースのランク付けを用いて、性能とモデル複雑度のバランスを最適化するための適応語句集合のサイズを調整する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン外コーパスから抽出されたドメイン内語句対から形成される接続語句は、SMT性能を向上させることができるか？
• RQ2 BLEUスコアおよび計算効率の観点から、語句レベルの適合は文単位またはモデルレベルの適合に比べてどのように差がつくか？
• RQ3 接続語句を通じてドメイン内およびドメイン外語句情報を統合することは、直接的なモデル結合や単一モデル適合に比べて翻訳品質を向上させるか？
• RQ4 単純で線形な手法が、精度と速度の両面で複雑なニューラルネットワークベースの適合手法を上回ることができるか？
• RQ5 追加のデコード特徴としてドメイン内ニューラルネットワーク確率特徴（$Q_{in}$）が、最終的なSMT性能にどの程度寄与するか？

主な発見

• 提案手法の接続語句ベースの適合により、IWSLTフランス語→英語タスクでベースラインの文脈ベースSMT比で+1.6 BLEUの向上を達成した。
• NIST中国語→英語タスクでは、既存手法に比べ+0.9 BLEUの向上を示し、異なる言語ペアにおいても一貫した向上を確認した。
• Koehn、Sennrich、Hoangらの最先端の適合手法よりも、BLEUスコアおよび適合速度の両面で優れた性能を示した。
• in+connect+OPバージョンは、IWSLT FR-ENで最高のBLEUスコア33.67を達成し、モデルサイズはわずか122.0Mであり、他の高性能手法に比べて顕著に小型であった。
• 適合時間は著しく短縮された：in+connect手法は2時間で完了したのに対し、in+NN手法は10日を要した。これは顕著な効率性の優位性を示している。
• ドメイン内ニューラルネットワーク確率特徴（$Q_{in}$）を追加のデコード特徴として組み込むことで、さらに性能向上が得られた。in+connect+OPに$Q_{in}$を追加した場合、IWSLT FR-EN test10セットで+0.31 BLEUの向上を達成した。