[論文レビュー] MoverScore: Text Generation Evaluating with Contextualized Embeddings and Earth Mover Distance

Wei Zhao, Maxime Peyrard+4 more|arXiv (Cornell University)|Sep 5, 2019

Multimodal Machine Learning Applications参考文献 48被引用数 19

ひとこと要約

この論文は、文脈を考慮した埋め込み表現（例：BERT）と地球移動距離（Earth Mover’s Distance）を組み合わせて、システム出力と参照テキスト間の意味的類似度を測る新しいテキスト生成評価指標、MoverScoreを提案する。要約、機械翻訳、画像キャプション生成、データからテキスト生成に至る多様なタスクで、人間の判断と高い相関を示し、最先端のベースラインを上回り、機械翻訳分野では平均で最大5.8ポイントまで上回る教師あり指標を凌駆する性能を発揮する。

ABSTRACT

A robust evaluation metric has a profound impact on the development of text generation systems. A desirable metric compares system output against references based on their semantics rather than surface forms. In this paper we investigate strategies to encode system and reference texts to devise a metric that shows a high correlation with human judgment of text quality. We validate our new metric, namely MoverScore, on a number of text generation tasks including summarization, machine translation, image captioning, and data-to-text generation, where the outputs are produced by a variety of neural and non-neural systems. Our findings suggest that metrics combining contextualized representations with a distance measure perform the best. Such metrics also demonstrate strong generalization capability across tasks. For ease-of-use we make our metrics available as web service.

研究の動機と目的

• 人間のテキスト品質評価と高い相関を示す、テキスト生成のための堅牢で教師なしの評価指標を開発すること。
• BLEU や ROUGE といったn-gramベースの指標が、異なる表層形間の意味的類似度を捉えられないという限界を克服すること。
• 文脈を考慮した埋め込み表現と地球移動距離を組み合わせることで、より包括的かつ一般化可能な評価指標が得られるかどうかを検証すること。
• 要約、機械翻訳、画像キャプション生成、データからテキスト生成に至る多様なテキスト生成タスクにおいて、指標の性能を評価すること。
• 指標がタスクや言語ペアを越えて一般化できることを示し、一部の教師あり指標を上回ることを実証すること。

提案手法

• システム出力および参照テキスト内の単語を、文脈を考慮した単語埋め込み（例：BERT）で表現し、豊かな意味的・構文的情報を捉える。
• 地球移動距離（WMD）を用いて、システム出力の単語分布を参照テキストの分布に変換する最小コストを計算し、意味的整合性をモデル化する。
• 指標は2つのバージョンで実装されている：文単位のアライメントを行う「文のムーバー（sentence mover）」と、単語単位のアライメントを行う「単語のムーバー（word mover）」で、後者が優れた性能を示した。
• 大規模な自然言語推論（NLI）データセット（例：MNLI）でBERTを微調整することで、文脈を考慮した埋め込みの質が向上し、人間の判断との相関が向上する。
• 複数のBERT層からの埋め込みを効果的に統合するため、層ごとの統合技術（例：p-平均、ルーティング）を採用する。
• 最終スコアは、システム出力および参照テキストの重み付き単語埋め込み間のWMD距離として計算され、スコアが高いほど意味的類似度が高いことを示す。

実験結果

リサーチクエスチョン

• RQ1 文脈を考慮した埋め込み表現と地球移動距離に基づく指標が、従来のn-gramベースや埋め込みベースの指標よりも、人間の判断と高い相関を示せるか？
• RQ2 埋め込みモデルの選択（例：BERT 対 ELMo 対 word2vec）が、さまざまなテキスト生成タスクにおける評価指標の性能に与える影響は？
• RQ3 NLIデータでBERTを微調整することで、評価用の埋め込み品質が向上するか？もしそうならば、その向上幅はどの程度か？
• RQ4 特に中国語-英語翻訳のような遠隔言語ペアにおいて、指標の性能はいかが？
• RQ5 MoverScoreのような教師なし指標が、教師あり指標の性能を凌駆できるか、あるいはそれを上回れるか？

主な発見

• 機械翻訳タスクにおいて、MoverScoreは人間の判断と平均0.743の相関を示し、最先端の教師あり指標を平均5.8ポイント上回った。
• 機械翻訳ではMETEOR++を5.7ポイント、画像キャプション生成ではSPICEを3.0ポイント、対話応答生成ではMETEORを2.2ポイント上回った。
• MNLIでBERTを微調整することで、7つの言語ペア全体で平均1.8ポイントの相関向上が確認され、タスク特化型事前学習の有効性が示された。
• 文脈を考慮した埋め込み（BERT）は、文脈を考慮しないもの（word2vec, ELMo）を著しく上回り、BERTベースのMoverScoreが最も優れた性能を示した。
• MoverScoreにおける柔軟なアライメント（ソフトアライメント）は、BERTScoreにおけるハードアライメントをわずかに上回り、単語マッチングの柔軟性が評価に寄与することが示唆された。
• 語彙的指標（例：SentBLEU）とは異なり、MoverScoreは高品質・低品質の翻訳を明確に区別でき、高品質出力の差を識別できることを示した。