[論文レビュー] Answers Unite! Unsupervised Metrics for Reinforced Summarization Models

Thomas Scialom, Sylvain Lamprier+2 more|arXiv (Cornell University)|Sep 4, 2019

Topic Modeling参考文献 23被引用数 10

ひとこと要約

本稿では、参照要約に依存せずに強化学習を用いた要約モデルの評価および訓練を行うために、自己教師ありQAベースのメトリクスを提案する。この手法により、ドメイン内およびドメイン外のラベルなしテキストを自己教師的に活用することで、最先端のROUGEスコアと、特に関連性および読みやすさにおいて優れた人間評価結果を達成する。

ABSTRACT

Abstractive summarization approaches based on Reinforcement Learning (RL) have recently been proposed to overcome classical likelihood maximization. RL enables to consider complex, possibly non-differentiable, metrics that globally assess the quality and relevance of the generated outputs. ROUGE, the most used summarization metric, is known to suffer from bias towards lexical similarity as well as from suboptimal accounting for fluency and readability of the generated abstracts. We thus explore and propose alternative evaluation measures: the reported human-evaluation analysis shows that the proposed metrics, based on Question Answering, favorably compares to ROUGE -- with the additional property of not requiring reference summaries. Training a RL-based model on these metrics leads to improvements (both in terms of human or automated metrics) over current approaches that use ROUGE as a reward.

研究の動機と目的

• ROUGEの限界を是正するため、語彙的類似性に偏り、要約の流暢さや読みやすさを十分に反映しない点。
• 人間がアノテートした参照要約を必要としない自己教師ありの評価メトリクスを開発し、ラベルなしテキストへの広範な適用を可能にする。
• これらの新しいメトリクスを用いて強化学習に基づく要約モデルを訓練し、自動評価および人間評価スコアの両方を向上させる。
• 提案されたQAベースのメトリクスを用いて、ドメイン内およびドメイン外の生のテキストを自己教師的に事前学習する有効性を調査する。
• 同じ強化学習訓練設定下で、異なる要約アーキテクチャの性能を新しいメトリクスを用いて比較する。

提案手法

• 入力テキストから自動的に質問を生成し、モデルの要約から回答を抽出するQAベースの新しい評価メトリクスを提案する。
• 要約の質の代理としてQAベースのF1スコア（QA F1）を計算し、入力ドキュメントから導出された質問に、生成された要約がどの程度適切に答えられるかを測定する。
• モデルの回答に対する確信度を評価するための信頼度ベースメトリクス（QA conf）を導入し、強化学習訓練における報酬信号の最適化に活用する。
• ROUGEに代わるか補完的に、QAベースのメトリクスを主な報酬として用いて、要約モデルを強化学習で訓練する。
• 強化学習微調整設定において、ドメイン内（テストセットと同じ分布）およびドメイン外（例：TL;DR）のデータを用い、ラベルなしで処理する。
• n-gram再現率と事実整合性の両立を図るため、ROUGE-LとQA F1を組み合わせた二重損失のトレーニング目的関数を採用し、最適な重み付けを可能にする学習可能係数を導入する。

実験結果

リサーチクエスチョン

• RQ1 QAベースのメトリクスは、ROUGEの代替として、参照なしで効果的な要約評価に適しているか？
• RQ2 QAベースのメトリクスを用いて要約モデルを訓練することで、自動評価（ROUGE）および人間評価スコアの両方で向上が達成されるか？
• RQ3 QAベースの報酬で誘導されるドメイン内およびドメイン外のラベルなしテキストを用いた自己教師的微調整は、どの程度有効か？
• RQ4 提案されたメトリクスは、人間の関連性および読みやすさの判断をどの程度正確に予測できるか？
• RQ5 See et al. (2017) のアーキテクチャが、QAベースの報酬で訓練された場合、Paulus et al. (2017) の設定に比べ、ROUGEおよび人間評価で優れているか？

主な発見

• 提案されたQAベースのメトリクスは、ROUGEで訓練された最先端モデルと同等またはそれ以上のROUGEスコアを達成するとともに、関連性および読みやすさにおいて顕著に優れた人間評価スコアを示す。
• 特に関連性および読みやすさにおいて、ROUGEとQAメトリクスを等重みで訓練したモデルに比べ、QAベース報酬（特にQA learned）で訓練したモデルが優れている。
• 同じドメイン（CNN-DMの検証セット）のラベルなしデータを用いることで要約品質に明確な向上が見られ、特に訓練データとテスト分布が一致する場合に最大の向上が得られる。
• ドメイン外のTL;DRデータを用いてQAベース報酬で訓練したモデルは、ROUGE-L、QA F1（unsup）、QA conf（unsup）で1ポイント以上の絶対的スコア上昇を示し、優れたドメイン間転送性を示している。
• 人間評価では、QA learnedがQA equally より読みやすさで優れている（p < 0.05）、一方でROUGE-Lの重みが強い影響を及ぼし、関連性ではQA equally が劣っている。これは報酬の不整合のリスクを確認する結果である。
• 結果から、QAベースのメトリクスを用いたラベルなしデータにおける自己教師的事前学習は非常に有益であり、参照要約なしで新ドメインへの効果的な転送を可能にする。