[論文レビュー] Automatic Text Evaluation through the Lens of Wasserstein Barycenters

Paolo Colombo, Guillaume Staerman+2 more|arXiv (Cornell University)|Aug 27, 2021

Topic Modeling被引用数 11

ひとこと要約

本論文は、Wasserstein重心を用いてトランスフォーマー層間の深層文脈埋め込みを統合することで、従来の集約手法に起因する幾何的歪みを回避する、新しいBERTベースの自動テキスト評価指標BaryScoreを提案する。BaryScoreは、機械翻訳、要約、画像キャプション生成、データからテキスト生成までの4つのNLGタスクで最先端の性能を達成し、特に従来のBERTベースの指標がシステムレベルで失敗する抽象的要約において、優れた一貫性と頑健性を示す。

ABSTRACT

A new metric exttt{BaryScore} to evaluate text generation based on deep contextualized embeddings e.g., BERT, Roberta, ELMo) is introduced. This metric is motivated by a new framework relying on optimal transport tools, i.e., Wasserstein distance and barycenter. By modelling the layer output of deep contextualized embeddings as a probability distribution rather than by a vector embedding; this framework provides a natural way to aggregate the different outputs through the Wasserstein space topology. In addition, it provides theoretical grounds to our metric and offers an alternative to available solutions e.g., MoverScore and BertScore). Numerical evaluation is performed on four different tasks: machine translation, summarization, data2text generation and image captioning. Our results show that exttt{BaryScore} outperforms other BERT based metrics and exhibits more consistent behaviour in particular for text summarization.

研究の動機と目的

• MoverScore や BertScore といった既存の指標で用いられる、ユークリッドに基づく手法（例：パワー平均）による多層BERT埋め込みの集約が引き起こす幾何的不一致を是正すること。
• 最適輸送理論に基づき、パラメータフリーで理論的裏付けのある、トランスフォーマー層間の文脈埋め込みを統合する手法の開発。
• Wasserstein空間の位相的性質を活用して、より信頼性の高い意味的類似度測定が可能な、自然言語生成における自動テキスト評価の向上。
• Wasserstein重心が、層選択やパワー平均集約よりも、BERTベースの指標においてより頑健で一貫性のある集約フレームワークを提供することの証明。
• 要約、機械翻訳、画像キャプション生成、データからテキスト生成を含む多様なNLGタスクにおいて、提案された指標の妥当性を検証すること。

提案手法

• 各トランスフォーマー層の出力をWasserstein空間内での確率分布としてモデル化し、意味的比較に最適輸送理論を適用可能にする。
• 層ごとの埋め込みのWasserstein重心を計算することで、層間の情報を保存したまま統合する。
• 基準度量としてWasserstein距離を用いることで、埋め込み空間の下位メトリクスと整合した集約を保証する。
• BertScoreのような単一の層を選択する必要がなかったり、MoverScoreのようなパワー平均の指数を調整する必要がないため、ハイパーパrameterチューニングを回避する。
• 最終的なBaryScoreは、BERT、RoBERTa、または ELMo からの文脈埋め込みを用いて、参照テキストと候補テキストの重心間のWasserstein距離として計算される。
• 複数のNLGタスクに同一のフレームワークを適用し、人的評価と標準ベースラインとを用いた評価が行われる。

実験結果

リサーチクエスチョン

• RQ1 Wasserstein重心は、テキスト生成評価における多層文脈埋め込みの集約に、より一貫性があり理論的裏付けのある方法を提供できるか？
• RQ2 提案されたBaryScore指標は、要約、翻訳、画像キャプション生成など多様なNLGタスクにおいて、人的評価との相関性において、BertScore や MoverScore より優れているか？
• RQ3 従来の指標が不整合を示す状況、例えば抽出的要約システムにおいて、BaryScoreはどのように性能を発揮するか？
• RQ4 重心に基づく集約法は、最適輸送に基づく指標で生じるユークリッド集約による幾何的歪みを軽減できるか？
• RQ5 BaryScoreは、要約やデータからテキスト生成のように語彙的変動が大きいタスクにおいても、頑健であるか？

主な発見

• XSum要約データセットにおいて、BaryScoreは人的評価との相関が最も高く、BertScore や MoverScore を上回った。特に、従来の指標が失敗するシステムレベルで顕著な優位性を示した。
• WebNLG2020データからテキスト生成タスクでは、9つの設定のうち6つでBaryScoreが最良の結果を達成し、優れた性能と一貫性を示した。
• MSCOCOデータセットにおける画像キャプション生成では、LEIC（マルチモーダル情報を利用）を除き、すべてのBERTベースの指標を上回った。視覚言語タスクにおける有効性を裏付けた。
• BaryScoreは、テキストレベルおよびシステムレベルの両方の評価で高い一貫性を維持した。一方、BertScore や MoverScore は、抽出的要約においてシステムレベルで顕著な性能低下を示した。
• WebNLGタスクにおける正しさの評価で、人的評価とのピアソン相関係数が0.917（ρ = 0.900、τ = 0.783）を記録し、人的評価と強い整合性を示した。
• 追加の正規化を施したBaryScore + は、すべてのタスクで競争力のある結果を達成し、頑健性と一般化可能性の可能性を示した。