[論文レビュー] Document-aligned Japanese-English Conversation Parallel Corpus

Matīss Rikters, Ryokan Ri+2 more|arXiv (Cornell University)|Dec 11, 2020

Natural Language Processing Techniques参考文献 17被引用数 5

ひとこと要約

本論文は、文書レベルの機械翻訳（MT）を進めるために、高品質で文書に整合した日本語・英語会話並列コーパスを紹介する。シーン、発話者、文脈のメタデータを組み込むことで、文脈に配慮したMTモデルの学習と評価が可能となり、単一文ベースのベースラインと比較して、話し言葉翻訳における主な課題である代名詞や曖昧な参照の処理が向上することを示している。

ABSTRACT

Sentence-level (SL) machine translation (MT) has reached acceptable quality for many high-resourced languages, but not document-level (DL) MT, which is difficult to 1) train with little amount of DL data; and 2) evaluate, as the main methods and data sets focus on SL evaluation. To address the first issue, we present a document-aligned Japanese-English conversation corpus, including balanced, high-quality business conversation data for tuning and testing. As for the second issue, we manually identify the main areas where SL MT fails to produce adequate translations in lack of context. We then create an evaluation set where these phenomena are annotated to alleviate automatic evaluation of DL systems. We train MT models using our corpus to demonstrate how using context leads to improvements.

研究の動機と目的

• 会話翻訳の分野において、特に日本語-英語のような低リソース言語対に対して、高品質で文書に整合した並列コーパスが不足しているという問題に対処すること。
• 文の単位を越えた文脈を必要とする文書レベルの機械翻訳（DL-MT）システムの学習と評価を可能にすること。
• 文の単位での翻訳が困難なが、文脈によって解消可能な言語現象（代名詞の参照、省略、語義の曖昧性など）を同定・アノテーションすること。
• 発話者、シーン、文書レベルのメタデータを備えたバランスの取れた開発および評価セットを提供し、再現可能な評価を可能にすること。
• 文脈に配慮したMTモデルが、曖昧な表現やプロドロップ（主語省略）の発話に対して、単一文ベースのベースラインを上回ることを示すこと。

提案手法

• 専門的なシナリオ作成と翻訳を経て、高レベルの言語的多様性と文脈的正確性を確保した、新たなビジネスシーン会話（BSD）サブコーパスを構築した。
• 既存の英語会話コーパス（AMIミーティングコーパスおよびOntoNotes 5.0）を日本語に翻訳し、文書レベルおよび文レベルの構造が整合した2つの追加サブコーパスを生成した。
• 発話者役割、シーン、文書境界のアノテーションを実施し、文脈に配慮したMTの学習と評価を可能にした。
• 2段階のクラウドソーシング評価を設計：第1段階では個々の文の品質を評価、第2段階では連続する文のペアの整合性と正確性を文脈に基づいて評価。
• アノテータ間的一致性を測定するためにFree-Marginal Kappaを用い、中程度の一致度（kappa = 0.34）を達成し、クラウドソーシングによる言語的評価の妥当性を裏付けた。
• 専門家による検証を通じて、文脈依存の翻訳失敗（特に代名詞の省略や語義の曖昧性）を特定し、曖昧性の種別（例：「中国」を言語としてか、料理としてか）を分類した。

実験結果

リサーチクエスチョン

• RQ1 日本語-英語会話翻訳において、文の単位でのMTが文脈不足により特に困難とする言語現象は何か？
• RQ2 文書に整合した並列コーパスは、文脈に配慮したニューラル機械翻訳モデルの性能をどのように向上させるか？
• RQ3 文脈に配慮したMTモデルは、文の単位でのベースラインと比較して、代名詞の翻訳や語義の曖昧性解消の誤りをどの程度減少させるか？
• RQ4 シーンおよび発話者メタデータを備えたアノテーション済みでバランスの取れた開発および評価セットは、文書レベルMTシステムのより信頼性の高い再現可能な評価を可能にするか？
• RQ5 さまざまな種類の曖昧性（例：代名詞、同音異義語）は翻訳品質にどのように影響し、文脈を用いて体系的に同定・解消できるか？

主な発見

• EN→JA方向に2051文ペア、JA→EN方向に2051文ペアを含むコーパスであり、2段階評価で228件のEN→JAおよび208件のJA→ENペアが文脈的に不適切とマークされた。
• 専門家による検証の結果、9件のEN→JAおよび43件のJA→EN文ペアが文脈依存であると確認され、主に代名詞の省略や曖昧な語彙的要素（例：「中国」を言語としてか、料理としてか）が原因であった。
• 文脈に配慮したMTモデルは、代名詞の翻訳処理において単一文ベースのベースラインを上回ったが、長距離の文脈依存性には依然として困難を抱えていた。
• 評価プロセスにおけるFree-Marginal Kappaスコア0.34は、アノテータ間で中程度の一致度を示しており、人間による評価プロトコルの信頼性を裏付けた。
• コーパスにはシーン固有のメタデータ（例：ビジネス、会議、放送）が含まれており、丁寧さや丁寧さのレベルのモデリングが可能となり、文脈に敏感な表現の翻訳品質が向上した。
• リリース時には、ソース言語、発話者、シーン、文書ID、曖昧性の種別といった完全なメタデータを提供しており、将来的な発話者に配慮したおよびシーンに配慮したMTシステムの研究を可能にしている。