[論文レビュー] EASE: Extractive-Abstractive Summarization with Explanations

Haoran Li, Arash Einolghozati+5 more|arXiv (Cornell University)|May 14, 2021

Topic Modeling参考文献 34被引用数 4

ひとこと要約

EASEは、情報 Bottleneck 原理を用いて抽出部と抽象部を共同で学習する、革新的な抽出的・抽象的要約フレームワークである。自然で解釈可能な要約を、根拠に基づく説明とともに生成する。EASEは、BART などの最先端の抽象的モデルと同等の要約品質を達成するとともに、ベースラインよりより関連性の高い文単位の説明を提供する。

ABSTRACT

Current abstractive summarization systems outperform their extractive counterparts, but their widespread adoption is inhibited by the inherent lack of interpretability. To achieve the best of both worlds, we propose EASE, an extractive-abstractive framework for evidence-based text generation and apply it to document summarization. We present an explainable summarization system based on the Information Bottleneck principle that is jointly trained for extraction and abstraction in an end-to-end fashion. Inspired by previous research that humans use a two-stage framework to summarize long documents (Jing and McKeown, 2000), our framework first extracts a pre-defined amount of evidence spans as explanations and then generates a summary using only the evidence. Using automatic and human evaluations, we show that explanations from our framework are more relevant than simple baselines, without substantially sacrificing the quality of the generated summary.

研究の動機と目的

• 抽象的要約モデルにおける解釈性の欠如が、実世界への採用を制限しているという問題に対処すること。
• 抽出的および抽象的手法の長所を統合する——解釈可能性と滑らかさ——抽出された証拠スパンに基づく要約を生成することで。
• 疑似ラベルや注意に基づく説明に依存せずに、理論的根拠に基づいたエンドツーエンドのフレームワークを構築すること。
• キーフレーズの再利用と証拠に基づく生成による一貫性の維持により、生成された要約が元のドキュメントに忠実であることを保証すること。
• CNN/DailyMail データセット上でフレームワークを評価し、完全に抽象的なモデルと同等またはほぼ同等の性能を示す一方で、追跡可能な説明を提供すること。

提案手法

• フレームワークは、バックボーンとして事前学習済みの BART モデルを用い、抽出と抽象のための別々のエンコーダー・デコーダー・ヘッドを備える。
• 抽出部は、スパarsity バジェットに従い、事前に定義された数の文単位の証拠スパンを特定する。情報 Bottleneck 原理に従い、情報保持とコンパクトさのバランスを取る。
• 抽象部は、抽出された証拠スパンのみを用いて最終的な要約を生成する。これにより、すべての内容が元のソースに根拠を持つことを保証する。
• モデルは、抽象的生成損失とIB由来の正則化項を組み合わせた共同損失を用いてエンドツーエンドで訓練される。これにより、情報量が多くても簡潔な証拠選択を促進する。
• スパarsity バジェットのハイパーパrameter が、抽出説明の長さを制御し、説明の長さと要約品質のトレードオフを可能にする。
• 自動評価指標（ROUGE）と人的評価を用いて、CNN/DailyMail で評価され、抽出的・抽象的・ベースラインの抽出的・抽象的モデルと比較される。

実験結果

リサーチクエスチョン

• RQ1 共同で学習された抽出的・抽象的モデルは、完全に抽象的なモデルと同等の要約品質を達成しつつ、解釈可能な説明を提供できるか？
• RQ2 情報 Bottleneck 原理は、注意に基づくまたはヒューリスティックに基づく手法と比較して、抽出された証拠スパンの関連性と整合性をどのように向上させるか？
• RQ3 抽象化にのみ抽出された証拠を使用することによって、要約の滑らかさと事実の整合性にどのような影響を与えるか？
• RQ4 提案されたフレームワークは、CNN/DailyMail のような抽出的指向のデータセットでも高いパフォーマンスを維持できるか。また、説明が関連性があり、かつ簡潔であることを保証できるか？
• RQ5 スパarsity バジェットのハイパーパrameter は、説明の長さと要約品質のトレードオフにどのように影響を与えるか？

主な発見

• EASE は、CNN/DailyMail データセットで BART の完全な抽象的モデルと同等の ROUGE スコアを達成しており、証拠に基づく抽象化による性能低下が最小限であることが示された。
• 人的評価では、EASE が生成する要約は BART とほぼ同等の整合性を示し、わずかに品質が低下する程度であったが、解釈可能な説明を提供した。
• 人的評価により、EASE が抽出する説明は、注意に基づくおよびヒューリスティックに基づく抽出器のベースラインと比較して、顕著に関連性が高かった。
• 文単位の抽出目的を追加することで、ROUGE スコアは全体的に向上し、特に文単位のモデルではより顕著な向上が見られた。
• IBに基づく損失により、情報圧縮と関連性のバランスがうまく取られ、簡潔でありながら情報量が多い証拠スパンが得られた。
• モデルは、IB 原理に基づくエンドツーエンド学習が、分離学習や疑似ラベル化アプローチよりも優れた証拠選択を可能にすることを示した。