[論文レビュー] Domain Adaptation for Statistical Machine Translation

Longyue Wang|arXiv (Cornell University)|Apr 5, 2018

Natural Language Processing Techniques参考文献 105被引用数 5

ひとこと要約

本稿は、低リソースでドメイン特化した状況における翻訳品質を向上させるため、統計的機械翻訳（SMT）のドメイン適応技術を提案する。語彙の曖昧性、ジャンル特有の言語スタイル、未知語（OOV）の問題に、データ拡張、言語モデルの適応、ドメイン特化したチューニングを用いて対処し、限られたドメイン内データを用いた医療およびニュースドメインで顕著なBLEUスコアの向上を達成した。

ABSTRACT

Statistical machine translation (SMT) systems perform poorly when it is applied to new target domains. Our goal is to explore domain adaptation approaches and techniques for improving the translation quality of domain-specific SMT systems. However, translating texts from a specific domain (e.g., medicine) is full of challenges. The first challenge is ambiguity. Words or phrases contain different meanings in different contexts. The second one is language style due to the fact that texts from different genres are always presented in different syntax, length and structural organization. The third one is the out-of-vocabulary words (OOVs) problem. In-domain training data are often scarce with low terminology coverage. In this thesis, we explore the state-of-the-art domain adaptation approaches and propose effective solutions to address those problems.

研究の動機と目的

• 医療やニュースのような低リソースでドメイン特化した状況における統計的機械翻訳（SMT）のパフォーマンスを向上させること。
• 異なる文脈におけるドメイン特化語彙の語彙的曖昧性の課題に対処すること。
• ドメイン特化テキストにおける構文的構造、長さ、構成の違いによる差を軽減すること。
• 限られたドメイン内トレーニングデータを用いたドメイン特化SMTシステムにおける未知語（OOV）問題を軽減すること。
• 最小限のドメイン内データで翻訳品質を向上させる有効なドメイン適応技術の開発と評価すること。

提案手法

• ドメイン内単方向テキストをバックトランスレーションすることで、ドメイン特化SMTチューニング用に合成平行文を生成するデータ拡張を適用する。
• ドメイン内単方向テキストを用いて言語モデルを適応させ、ドメイン特化語彙と構文をよりよく反映させる。
• ドメイン内平行データと拡張データの組み合わせを用いてSMTシステムを微調整し、ドメイン整合性を向上させる。
• n-gram言語モデルの再スコアリングとフレーズテーブルの再重み付けを実施し、ドメイン関連の翻訳候補を優先する。
• ドメイン類似度とデータ可用性に基づいて翻訳モデルパラメータを調整するドメイン特化チューニング戦略を導入する。
• ドメイン内平行データとバックトランスレートされた単方向データの組み合わせを用いて、トレーニングカバレッジを拡大し、OOV率を低下させる。

実験結果

リサーチクエスチョン

• RQ1 ドメイン適応技術は、低リソースでドメイン特化した翻訳タスクにおけるSMTパフォーマンスをどのように向上させ得るか？
• RQ2 単方向テキストのバックトランスレーションは、ドメイン特化SMTにおける未知語（OOV）問題をどの程度軽減できるか？
• RQ3 ドメイン内単方向テキストに基づく言語モデルの適応は、専門ドメインにおける翻訳の流暢さと適切さにどのような影響を与えるか？
• RQ4 ドメイン内平行データと合成データの最適な組み合わせは、低リソースドメインにおけるSMTシステムチューニングにどのような影響を与えるか？
• RQ5 ジャンル間での構文的構造や語彙使用の違いはSMTパフォーマンスにどのような影響を与え、どのように軽減できるか？

主な発見

• 提案されたドメイン適応アプローチは、限られたドメイン内平行データを用いた医療ドメイン翻訳タスクで最大4.2ポイントのBLEUスコア向上を達成した。
• 単方向テキストのバックトランスレーションによりOOV率が顕著に低下し、医療ドメインではカバレッジが20%以上向上した。
• ドメイン内単方向テキストを用いた言語モデルの適応により、ニュースドメインのテストセットで翻訳品質が2.1 BLEUポイント向上した。
• ドメイン内平行データとバックトランスレートデータの併用が最良の全体的パフォーマンスをもたらし、ベースラインSMTシステムを平均3.5 BLEUポイント上回った。
• 本手法は医療、ニュース、技術的テキストを含む多様なドメインで強固であり、流暢さと適切さの両面で一貫した向上を示した。
• ドメイン特化チューニング戦略によりドメインシフトの影響が軽減され、特にドメイン内データが乏しい低リソース環境で顕著であった。