[論文レビュー] Learning by Semantic Similarity Makes Abstractive Summarization Better

Wonjin Yoon, Yoon Sun Yeo+3 more|arXiv (Cornell University)|Feb 18, 2020

Topic Modeling参考文献 30被引用数 19

ひとこと要約

この論文は、BARTのような抽象的要約モデルが、CNN/DailyMailデータセットでトレーニングされているにもかかわらず、人間評価においてリファレンス要約を上回る性能を示す理由を調査している。クラウドソーシングを用いた人間評価により、モデルが生成した要約はリーダビリティ、関連性、創造性の観点でリファレンス要約よりも顕著に高い評価を受けていることが判明した。これは、リファレンス要約が最良の要約であるという仮定に疑問を呈するものである。主な洞察は、最大尤度学習における交差エントロピー損失は、意味的に妥当だが同一でない要約（例：言い換え）を罰するため、人間の判断と一致しないことである。一方、意味的類似度に基づく目的関数は、人間の判断とより整合性を持つ可能性がある。

ABSTRACT

By harnessing pre-trained language models, summarization models had rapid progress recently. However, the models are mainly assessed by automatic evaluation metrics such as ROUGE. Although ROUGE is known for having a positive correlation with human evaluation scores, it has been criticized for its vulnerability and the gap between actual qualities. In this paper, we compare the generated summaries from recent LM, BART, and the reference summaries from a benchmark dataset, CNN/DM, using a crowd-sourced human evaluation metric. Interestingly, model-generated summaries receive higher scores relative to reference summaries. Stemming from our experimental results, we first argue the intrinsic characteristics of the CNN/DM dataset, the progress of pre-trained language models, and their ability to generalize on the training data. Finally, we share our insights into the model-generated summaries and presents our thought on learning methods for abstractive summarization.

研究の動機と目的

• 最先端の抽象的要約モデル（例：BART）が、CNN/DailyMailデータセットにおいて人間評価で公式のリファレンス要約よりも好まれる理由を調査すること。
• 要約の品質の上限がリファレンス要約に存在するとする仮定を疑うこと。
• CNN/DailyMailデータセットの固有の特徴と、それらがモデル性能や評価に与える影響を分析すること。
• 厳密な自己回帰的交差エントロピー学習から、意味的類似度に基づく目的関数への移行を提案し、妥当な言い換えをよりよく捉えること。
• 特にオープンエンド生成タスクにおいて、n-gram一致ではなく意味的類似度を重視する、より良い評価基準の導入を提唱すること。

提案手法

• CNN/DailyMailデータセットのBARTが生成した要約とリファレンス要約を、創造性、リーダビリティ、関連性という3つの基準に基づき、クラウドソーシングを用いた人間評価で比較した。
• 自動評価指標（ROUGE）と人間の判断の両方を用いて、両者の乖離を特定した。
• モデルの予測とリファレンス要約を分析し、意味的に妥当な言い換えが交差エントロピー損失によって罰せられてしまう事例を同定した。
• BARTのエンコーダ・デコーダアーキテクチャと事前学習済み言語表現のおかげで、文の流暢さと重要な情報抽出の質が向上し、リーダビリティと関連性のスコアが向上していることが分かった。
• 厳密な自己回帰的学習から、意味的類似度に基づく目的関数への置き換えを提案し、妥当な言い換えに対するペナルティを低減した。
• 実装上の欠陥のため、自ら開発したモデル（semsim）は除外し、人間評価データを用いてBARTとリファレンス要約の分析に集中した。

実験結果

リサーチクエスチョン

• RQ1 なぜBARTが生成した要約は、CNN/DailyMailデータセットにおいてリファレンス要約よりも高い人間評価を得るのか？
• RQ2 ROUGEのような自動評価指標は、抽象的要約における人間の判断とどの程度相関しているか？
• RQ3 BARTのような事前学習済み言語モデルを用いることで、生成された要約の品質はリファレンス要約と比べてどのように変化するか？
• RQ4 複数の妥当な言い換えが存在する状況において、系列対系列要約の際の交差エントロピー損失にはどのような限界があるか？
• RQ5 意味的妥当性を重視する評価基準は、n-gram一致ではなく、どのように改善できるか？

主な発見

• BARTが生成した要約は、創造性、リーダビリティ、関連性という3つの基準すべてにおいて、リファレンス要約よりも顕著に高い人間評価を得た。
• モデルが生成した要約の平均リーダビリティスコアは100点満点でほぼ80に達しており、文の流暢さと自然さが高く評価されており、人間評価においては高いスコアとされる。
• CNN/DailyMailデータセットでトレーニングされているにもかかわらず、BARTは公式のリファレンス要約よりも好まれる要約を生成しており、リファレンス要約が最良であるという仮定に疑問を呈するものである。
• 本研究では、交差エントロピー損失が、意味的に妥当だが同一でない要約（例：言い換え）を罰しており、事実的かつ文脈的に正確であっても誤りとみなされていることが判明した。
• 結果から、CNN/DailyMailデータセットの固有の特徴（たとえば、リファレンス要約の品質が低いか、重複が多いなど）が、モデル性能がリファレンス要約を上回る要因となっている可能性があると示唆された。
• 著者らは、意味的類似度に基づく学習目的関数を採用することで、複数の妥当な言い換えを許容する柔軟性が得られ、厳密な一致ペナルティによる学習ノイズを低減できるため、人間の判断とより一致するようになると結論づけた。