[論文レビュー] Examining the Tip of the Iceberg: A Data Set for Idiom Translation

Marzieh Fadaee, Arianna Bisazza+1 more|arXiv (Cornell University)|Feb 13, 2018

Natural Language Processing Techniques参考文献 17被引用数 10

ひとこと要約

本稿は、ドイツ語-英語機械翻訳における熟語翻訳のための、初めての大規模で自動構築された並列コーパスを紹介する。このコーパスには、1,500件の熟語を含むテスト文と、熟語がアノテートされた450万件のトレーニング文が含まれる。著者らは、熟語固有の精度に注目した新しい評価指標を用いて、ニューラル機械翻訳（NMT）およびフレーズベース機械翻訳（PBMT）システムの性能を評価し、熟語マーカーを用いた特化型モデリングが、全体のBLEUスコアが若干低下しても熟語翻訳の精度を向上させることを示した。

ABSTRACT

Neural Machine Translation (NMT) has been widely used in recent years with significant improvements for many language pairs. Although state-of-the-art NMT systems are generating progressively better translations, idiom translation remains one of the open challenges in this field. Idioms, a category of multiword expressions, are an interesting language phenomenon where the overall meaning of the expression cannot be composed from the meanings of its parts. A first important challenge is the lack of dedicated data sets for learning and evaluating idiom translation. In this paper we address this problem by creating the first large-scale data set for idiom translation. Our data set is automatically extracted from a widely used German-English translation corpus and includes, for each language direction, a targeted evaluation set where all sentences contain idioms and a regular training corpus where sentences including idioms are marked. We release this data set and use it to perform preliminary NMT experiments as the first step towards better idiom translation.

研究の動機と目的

• ニューラル機械翻訳における熟語翻訳のトレーニングと評価に特化した大規模並列コーパスの不足に対処すること。
• 最先端のNMTシステムにおいて、一般のフレーズと比較して熟語翻訳に顕著な性能差が生じる理由を調査すること。
• ドイツ語-英語翻訳における熟語表現のための、ターゲットテストセットとアノテート済みトレーニングデータを備えたベンチマークデータセットの開発および公開すること。
• 標準的および新しい熟語固有の評価指標を用いて、NMTおよびフレーズベースMTシステムの熟語翻訳性能を評価すること。
• 熟語マーカーを用いた特化型モデリングが、全体のBLEUスコアが低下しても熟語翻訳の正確性を向上させられることを実証すること。

提案手法

• 一般用途のドイツ語-英語並列コーパスから、両方の文に熟語を含む1,500組の文対を自動抽出し、両側に熟語が存在することを保証する。
• 入力文に熟語が存在することを明示的にアノテートした、450万文のトレーニングコーパスを構築する。
• fast-alignを用いた単語レベルのアライメントにより、文脈からの分離を図り、熟語翻訳を独立して評価する。
• 2つの新しい評価指標を導入する：熟語フレーズ翻訳のための修正済みユニグラム適合率と、アライメント済み単語に基づく単語レベル熟語正確度（WIAcc）。
• NMTおよびフレーズベースMTシステムをトレーニング・比較し、入力に熟語の存在を示す特別トークンを含むNMTバージョンも含む。
• 30K回のマージ操作を伴うバイトペア符号化（BPE）を適用し、全体の翻訳品質を基準とする標準BLEUをベースライン指標として使用する。

実験結果

リサーチクエスチョン

• RQ1 NMTがトレーニングデータに熟語がまれな場合、フレーズベースモデルと比較して熟語翻訳にどの程度の性能差を示すか？
• RQ2 入力に熟語の存在を示す特別トークンを含めることで、熟語表現の翻訳品質が向上するか？
• RQ3 BLEUなどの標準的自動評価指標は、熟語翻訳の実際の正確度をどの程度反映しているのか。また、専用指標はどのように性能を示すか？
• RQ4 NMTシステムの熟語翻訳性能は、一般翻訳タスクにおける性能と比較してどの程度異なるか？
• RQ5 データサイズおよびアノテーション品質の向上が、ニューラル翻訳モデルにおける熟語表現の学習可能性に与える影響は何か？

主な発見

• 特別な熟語マーカーを含むNMTシステムは、全体のBLEUスコアがわずかに低下したものの、ベースラインNMTおよびフレーズベースモデルよりも熟語固有のユニグラム適合率と単語レベルの正確度が高かった。
• ベースラインNMTシステムは、標準WMTテストセットと比較して、熟語固有のテストセットでの性能が悪く、現在のNMTモデルが熟語処理において依然として大きな課題を抱えていることを示している。
• フレーズベースMTシステムは、熟語翻訳における性能差が小さく、一部の状況ではNMTに比べて熟語フレーズをより信頼性高く記憶・再現できることを示している。
• 修正済みユニグラム適合率指標は、熟語翻訳品質の向上を効果的に捉えており、特にターゲット評価に価値があることを示している。
• 単語レベル熟語正確度（WIAcc）指標は、熟語マーカーを含むNMTモデルが、他のモデルと比較して熟語フレーズ内の単語のより高い割合を正しく翻訳していることを示している。
• 103種類のドイツ語熟語と132種類の英語熟語を含む、新規データセットの公開により、今後の神経機械翻訳における熟語表現翻訳研究の基盤が提供された。