[論文レビュー] Factually Consistent Summarization via Reinforcement Learning with Textual Entailment Feedback

Paul Roit, Johan Ferret+17 more|arXiv (Cornell University)|May 31, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、強化学習における帰結フィードバック（RLEF）を提案する。この手法は、要約生成における事実的一致性を向上させるために、強化学習の微調整中に参照なしの報酬としてテキスト帰結モデルを用いる。このアプローチにより、要約の信頼性、重要性、簡潔さが著しく向上し、人為的要約が不要であるため、XSumにおいて自動評価指標および人的評価の両面で強力なベースラインを上回る。

ABSTRACT

Despite the seeming success of contemporary grounded text generation systems, they often tend to generate factually inconsistent text with respect to their input. This phenomenon is emphasized in tasks like summarization, in which the generated summaries should be corroborated by their source article. In this work, we leverage recent progress on textual entailment models to directly address this problem for abstractive summarization systems. We use reinforcement learning with reference-free, textual entailment rewards to optimize for factual consistency and explore the ensuing trade-offs, as improved consistency may come at the cost of less informative or more extractive summaries. Our results, according to both automatic metrics and human evaluation, show that our method considerably improves the faithfulness, salience, and conciseness of the generated summaries.

研究の動機と目的

• 要約生成における事実的一致性の問題、すなわちモデルが幻覚的または根拠のない主張を生成することを解決すること。
• 人為的要約に依存せずに事実的一致性を向上させることで、人為的要約が存在しないデータでも学習が可能になるようにすること。
• 事実的一致性と重要性・一貫性のバランスを保つことにより、退化したり過度に抽出的になった要約を避けること。
• 事前学習済みのテキスト帰結モデルを、テキスト生成における事実性のスケーラブルで汎用的な報酬信号として活用すること。
• 正則化およびデコード戦略の違いが、モデルの挙動に与える影響を調査すること。

提案手法

• 入力ドキュメントと生成された要約の間の帰結関係に基づく報酬信号を用いて、事前学習済み要約モデルを強化学習（RL）で微調整する。
• 事前学習済み自然言語帰結（NLI）モデルを用いて帰結スコアを計算し、事実的一致性の報酬として扱い、帰結を事実の正しさの代理指標とする。
• 分布のシフトを防ぎ、重要性や一貫性を維持するために、RLポリシーと事前学習済みアンカーモデルとの間でKL正則化を適用する。
• 帰結報酬とKL正則化を組み合わせた正則化RL目的関数を最適化し、組み合わせ報酬にポリシー勾配定理を適用する。
• 入力ドキュメントと生成された要約のペアから直接報酬信号を計算するエンドツーエンドのポリシー勾配法を用いて、要約モデルを訓練する。この際、要約が不要である。
• 事実的一致性（帰結報酬）と元のモデルの能力維持（KL正則化）の間のトレードオフを調整するためのハイパーパrameter α を使用する。

Figure 1: Summaries produced by multiple methods from a news article in the XSum dataset. Hallucinations or contradictions are highlighted in red. Note how the T5 generated summary mentions that there is a fall in operating profits for the second year in a row , while the article only discusses a re

実験結果

リサーチクエスチョン

• RQ1 テキスト帰結モデルは、要約生成における事実的一致性を向上させるために、有効で参照なしの報酬信号として機能するか？
• RQ2 帰結フィードバックを用いた強化学習微調整は、生成要約における事実的一致性、重要性、簡潔さのトレードオフにどのように影響を与えるか？
• RQ3 アンカーモデルとのKL正則化を適切に調整することで、元の要約モデルの強みを保持しつつ、事実の信頼性を向上させられるか？
• RQ4 モデルスケール、正則化強度、デコード戦略が、強化学習最適化された要約モデルの最終的性能にどのように作用し合うか？
• RQ5 提案手法は、自動評価指標および人的評価の両面で、事実的一致性と要約品質の観点で強力なベースラインを上回るか？

主な発見

• RLEF手法は、自動評価指標および人的評価の両面で、強力なベースラインを著しく上回る、事実的一致性の向上を達成した。
• 人的評価により、RLEFが生成する要約は、ベースラインモデルの要約よりも信頼性が高く、重要性があり、簡潔であることが確認された。
• 要約が不要な状況でも、幻覚を効果的に低減でき、低リソース環境や参照なしの設定に応用可能である。
• 適切に調整された正則化（アンカーモデルへのKL発散）により、モデルが過度に抽出的になったり情報量が減ったりすることを防げる。
• 一貫性と情報量のトレードオフは、正則化重み α やデコード戦略などのハイパーパrameterに強く依存している。
• 結果から、帰結に基づく報酬は、人的フィードバックや参照ベースの報酬に代わる、実用的で効果的な代替手段であることが示された。

Figure 2: RLEF training loop: (Left) given an input document, the policy generates a summary to be scored by the NLI model for consistency; (Right) given a document and the current generated summary, the KL distance between the RL and anchor model policies is used for regularization; Both scores are