[論文レビュー] A Supervised Word Alignment Method based on Cross-Language Span Prediction using Multilingual BERT

Masaaki Nagata, Katsuki Chousa+1 more|arXiv (Cornell University)|Apr 29, 2020

Topic Modeling参考文献 36被引用数 6

ひとこと要約

本論文は、教師あり単語アライメント手法を提案し、単語アライメントを横断的スパン予測タスクとして定式化する。多言語 BERT を微調整して、元言語トークンに対応する対象言語スパンを予測する。150〜300 件のアライメント済み文書のみを用い、並列事前学習データを一切使用せず、SOTA の F1 スコア（例：中国語-英語で 86.7）を達成しており、従来の教師ありおよび教師なし手法を上回っている。

ABSTRACT

We present a novel supervised word alignment method based on cross-language span prediction. We first formalize a word alignment problem as a collection of independent predictions from a token in the source sentence to a span in the target sentence. As this is equivalent to a SQuAD v2.0 style question answering task, we then solve this problem by using multilingual BERT, which is fine-tuned on a manually created gold word alignment data. We greatly improved the word alignment accuracy by adding the context of the token to the question. In the experiments using five word alignment datasets among Chinese, Japanese, German, Romanian, French, and English, we show that the proposed method significantly outperformed previous supervised and unsupervised word alignment methods without using any bitexts for pretraining. For example, we achieved an F1 score of 86.7 for the Chinese-English data, which is 13.3 points higher than the previous state-of-the-art supervised methods.

研究の動機と目的

• 最近年のニューラル機械翻訳の進展にもかかわらず、過去 20 年間で単語アライメント精度の向上が止まっている現状に課題を提示すること。
• 最小限の正解アライメントデータを必要とし、並列単語語彙を事前学習に用いない教師あり単語アライメント手法を開発すること。
• 多言語 BERT と質問応答型スパン予測フレームワークを活用することで、リソースが乏しい言語対のアライメント精度を向上させること。
• トレーニング中に見られなかった言語対に対してもゼロショット単語アライメントを可能にするかを検討すること。

提案手法

• 単語アライメント問題を、元言語トークンが質問であり、対象言語スパンが答えである SQuAD 形式の質問応答タスクとして定式化する。
• 各アライメントインスタンスを、文脈（対象文）、質問（元トークン）、答え（対象スパン）の三つ組に変換する。
• 正解アライメント済み文のペアを用いて多言語 BERT を微調整し、各元トークンに対応する対象文内のスパンを予測する。
• モデルは、対象文内でのアライメントスパンの開始位置と終了位置を予測するように学習させ、複数トークンにまたがるアライメントは複数の答えとして扱う。
• 元文の周囲のトークンからの文脈情報を質問に組み込むことで、アライメントの正確性を向上させる。
• 元と対象の役割を入れ替えることで、英語→日本語および日本語→英語など、両方向のアライメントをサポートする。

実験結果

リサーチクエスチョン

• RQ1 質問応答フレームワークを用いて、単語アライメントを横断的スパン予測タスクとして効果的に再定式化できるか？
• RQ2 最小限の正解アライメントデータと並列事前学習を一切用いながら、多言語 BERT が優れた単語アライメント性能を達成できるか？
• RQ3 元トークンの周囲の文脈を質問に組み込むことで、単に元トークンのみを用いる場合と比較してアライメント精度が向上するか？
• RQ4 特定のアライメントデータで微調整を行わずに、ゼロショットの言語対に対しても一般化できるか？

主な発見

• 提案手法は中国語-英語単語アライメントで F1 スコア 86.7 を達成し、前回の SOTA 教師あり手法より 13.3 ポints 高かった。
• わずか 150〜300 件の正解アライメント文書のみを用いても、数百万件の並列文を事前学習に要する従来の教師ありおよび教師なし手法を上回った。
• ゼロショット設定では、日本語-英語で F1 58.8（GIZA++ が 57.6）およびルーマニア語-英語で F1 77.8（MGIZA が 73.6）を達成し、優れた一般化性能を示した。
• 元トークンの周囲の文脈を質問に組み込むことで、曖昧または頻出語のアライメント精度が向上した。
• はるかに少ないアノテーション文書と並列事前学習データを用いながらも、Garg ら (2019) や Stengel-Eskin ら (2019) を顕著に上回った。
• 形態素が豊富でリソースが乏しい言語（例：ルーマニア語、日本語）に対しても、モデルの性能は安定しており、多様な言語対にわたり高い頑健性を示した。