[論文レビュー] Autocorrect in the Process of Translation -- Multi-task Learning Improves Dialogue Machine Translation

Tao Wang, Chengqi Zhao+3 more|arXiv (Cornell University)|Mar 30, 2021

Natural Language Processing Techniques参考文献 27被引用数 5

ひとこと要約

本論文は、会話翻訳中に同時に発生する代名詞省略（ProDrop）、標点符号省略（PunDrop）、会話固有のスペルミス（DialTypo）を検出し、修正するマルチタスク学習フレームワーク、MTLdialを提案する。文脈ラベル付けと共同学習を活用することで、翻訳品質が3.2 BLEU向上し、新たに構築された1,931件のアノテート済み発話からなる中国語-英語ベンチマークデータセット上では、代名詞回復精度が26.09%から47.16%に向上した。

ABSTRACT

Automatic translation of dialogue texts is a much needed demand in many real life scenarios. However, the currently existing neural machine translation delivers unsatisfying results. In this paper, we conduct a deep analysis of a dialogue corpus and summarize three major issues on dialogue translation, including pronoun dropping (\droppro), punctuation dropping (\droppun), and typos ( ypo). In response to these challenges, we propose a joint learning method to identify omission and typo, and utilize context to translate dialogue utterances. To properly evaluate the performance, we propose a manually annotated dataset with 1,931 Chinese-English parallel utterances from 300 dialogues as a benchmark testbed for dialogue translation. Our experiments show that the proposed method improves translation quality by 3.2 BLEU over the baselines. It also elevates the recovery rate of omitted pronouns from 26.09% to 47.16%. We will publish the code and dataset publicly at https://github.com/rgwt123/DialogueMT.

研究の動機と目的

• 会話翻訳における3つの主要な課題、すなわち代名詞省略（ProDrop）、標点符号省略（PunDrop）、会話固有のスペルミス（DialTypo）を特定し、それらに対処すること。
• 翻訳中に入力ノイズを補正する文脈的マルチタスク学習モデルを構築し、モデルのロバスト性と精度を向上させること。
• 300件の会話（1,931発話）からなる高品質で手作業でアノテートされた中国語-英語テストセットを構築し、会話翻訳の評価のためのベンチマークとして提供すること。
• 自動評価指標（BLEU）と回復性能に関する詳細な誤字分析を用いて、提案手法の有効性を評価すること。

提案手法

• 共有文脈表現を用いて翻訳、代名詞回復、標点符号回復、誤字訂正を同時に実行するマルチタスク学習モデル、MTLdialを提案する。
• 翻訳中に入力ノイズを除去するための明示的な監視信号を提供する文脈ラベル付けを導入する。
• 二言語並列コーパスからのサブドキュメントを用いて、文間の文脈学習を可能にし、文脈認識能力を向上させる。
• 3つの強力なベースラインを設計：REPAIRdial（修復ベース）、ROBUSTdial（ロバストトレーニング）、標準NMTベースライン（BASE）。
• 合成ノイズ（例：代名詞や標点符号の省略、誤字）を用いたデータ拡張を適用し、モデルの一般化性能を向上させる。
• 翻訳、ProDrop、PunDrop、DialTypo検出の各タスクに特化したヘッドを備えた共有エンコーダデコーダアーキテクチャを採用する。

実験結果

リサーチクエスチョン

• RQ1 代名詞省略、標点符号省略、会話固有のスペルミスは、会話設定におけるニューラル機械翻訳の品質にどのように影響を与えるか？
• RQ2 文脈ラベル付けを用いた共同マルチタスク学習は、ノイズのある会話入力における翻訳品質と誤り回復の両面で向上をもたらすか？
• RQ3 合成ノイズで学習したモデルは、自然な入力誤りを含む実世界の会話翻訳にどの程度一般化できるか？
• RQ4 BLEUスコアおよび誤り回復率の観点から、提案されたMTLdialフレームワークは強力なベースラインと比較してどのように差をつけるか？
• RQ5 代名詞回復における失敗モードと一般的な誤りパターンは何か。それらは文脈モデリングとどのように関連しているか？

主な発見

• 提案されたMTLdialモデルは、新しいベンチマークテストセット上で強力なベースライン比で翻訳品質が3.2 BLEU向上した。
• 省略された代名詞の回復率が26.09%から47.16%に向上し、ProDropの処理において顕著な改善が確認された。
• テストセットでは、ProDropのF1スコアが48.6%、PunDropが92.1%、DialTypoが45.2%を達成した。後者は実世界の誤字における再現率が低いため、最も大きな低下を示した。
• 「I」や「you」のような頻出代名詞では代名詞回復が最も効果的であったが、性能は50%未満にとどまり、文脈モデリングの課題が残っていることが示された。
• 誤字分析から、特に前回の発話からの文脈の誤った捉え方が、回復失敗の主な要因であることが明らかになった。
• 自動評価指標および誤り回復の両面で、MTLdialはREPAIRdialおよびROBUSTdialベースラインを上回り、共同マルチタスク学習の有効性が裏付けられた。