[論文レビュー] Context in Neural Machine Translation: A Review of Models and Evaluations

Andréi Popescu-Belis|arXiv (Cornell University)|Jan 25, 2019

Natural Language Processing Techniques参考文献 53被引用数 23

ひとこと要約

この論文は2017–2018年のニューラル機械翻訳（NMT）の進展をレビューし、特に参照関係（anaphora）や語彙的一貫性といった話法的現象の翻訳品質向上に寄与する広い文脈を統合する手法に焦点を当てる。文脈に配慮したモデルは、人称代名詞や語の意味の解釈の明確化タスクにおいて、ベースラインを最大20パーセンテージポイントも上回るが、BLEUスコアは僅かな向上にとどまる。これは、n-gramメトリクスを超えた話法的配慮のある評価の必要性を示している。

ABSTRACT

This review paper discusses how context has been used in neural machine translation (NMT) in the past two years (2017-2018). Starting with a brief retrospect on the rapid evolution of NMT models, the paper then reviews studies that evaluate NMT output from various perspectives, with emphasis on those analyzing limitations of the translation of contextual phenomena. In a subsequent version, the paper will then present the main methods that were proposed to leverage context for improving translation quality, and distinguishes methods that aim to improve the translation of specific phenomena from those that consider a wider unstructured context.

研究の動機と目的

• 2017–2018年のニューラル機械翻訳（NMT）の最先端状況を、文脈モデリングに焦点を当てて分析すること。
• NMTシステムが人称代名詞の解消、語彙的一貫性、話法的構造といった話法的現象を処理する効果を評価すること。
• 現在の評価手法におけるギャップ、特に文書レベルの一貫性におけるNMTの限界が蓄積されているにもかかわらず、話法的配慮のあるメトリクスが十分に使われていないことの特定。
• 今後のセクションである文脈強化NMTモデルの基盤を築くこと。非構造的文脈の利用と構造的話法解析の区別を明確にすること。

提案手法

• 2017–2018年のNMT評価研究を体系的にレビューし、メトリクスの種別（自動的：例えくT、人間ベース：例えく編集、絶対的評価、対照的ペア評価）に分類した。
• 特定の現象（例えく、前の文に先行する語の意味の解釈）に対するモデルの挙動を評価するために、対照的文ペアの使用を分析した。
• 話法的レベルのメトリクス（例えく、DiscoTKparty、RSTパースツリーに基づく測定）を評価し、SMT出力に対する人間の判断との相関を検証した。
• NMTとSMTの文書レベルの品質を比較する研究の知見を統合し、一貫性や整合性に関する人間の判断を含めた。
• 文単位を超えた文脈を拡張する新規NMTアーキテクチャをレビューし、非構造的文脈の利用と構造的話法解析を実行するモデルの違いを区別した。
• WMT共有タスクおよびドメイン固有コーパスのデータを用いて、語の意味の解釈の明確化や話法接続語といった言語的現象に対するモデルの挙動を評価した。

実験結果

リサーチクエスチョン

• RQ1 標準的なメトリクス（例えく、BLEU）が捉えられないNMTシステムの限界を、特に話法的配慮のあるメトリクスがどのように明らかにするか？
• RQ2 文脈に配慮したNMTモデルは、参照関係の解消や語彙的一貫性といった話法的現象の翻訳品質をどの程度向上させるか？
• RQ3 個々の文ではなく文書全体を評価した場合、NMTと人間翻訳の品質格差はどの程度か？
• RQ4 文脈に依存する現象において人間評価の品質が著しく向上しているにもかかわらず、なぜBLEUスコアは僅かな向上にとどまるのか？
• RQ5 非構造的文脈を用いるNMTモデルと、構造的話法解析を実行するNMTモデルとの間の主なアーキテクチャ的・手法的差異は何か？

主な発見

• 文脈に配慮したNMTモデルは、先行文に先行語が存在する場合、人称代名詞翻訳タスクで標準ベースラインを最大20パーセンテージポイントも上回る。
• 文脈を組み込むとBLEUスコアはわずかに向上するが、これは標準的な自動メトリクスが話法的レベルの品質向上を捉えていないことを示している。
• 文書レベルの人間評価では、NMTと人間翻訳の間に統計的に有意な差が認められ、NMTが依然として一貫性や整合性の面で課題を抱えていることを示唆している。
• DiscoTKpartyなどの話法的配慮のあるメトリクスは、SMT出力に対する人間の判断と正の相関を示すが、それらはNMTシステムにはまだ適用されていないにもかかわらず、関連性が高い。
• ZH/ENニュース翻訳に関する研究では、文書全体を評価した場合、プロの翻訳者がNMT出力と人間翻訳を信頼性を持って区別できることが示された。これは、依然として文書レベルの欠陥が存在することを示している。
• NMTシステムが語彙的一貫性や参照関係の解消において依然として性能が低いという証拠が蓄積されており、文単位の翻訳では高い性能を示しているにもかかわらずである。