[論文レビュー] Text Summarization with Latent Queries

Yumo Xu, Mirella Lapata|arXiv (Cornell University)|May 31, 2021

Topic Modeling参考文献 47被引用数 8

ひとこと要約

本稿では、文書から離散的潜在変数としてクエリをモデル化する、最初の統合的抽象的要約システムであるLaQSumを提案する。これにより、トレーニング時にクエリアノテーションを必要とせず、ゼロショットのクエリ焦点型要約が可能となる。深層生成フレームワーク下で潜在クエリモデルと条件付き言語モデルを同時に最適化することで、多様なクエリタイプ、ドキュメント設定、ドメインにおいて最先端の性能を達成し、汎用的およびゼロショットのクエリ焦点型要約ベンチマークの両方で強力なベースラインを上回る。

ABSTRACT

The availability of large-scale datasets has driven the development of neural models that create summaries from single documents, for generic purposes. When using a summarization system, users often have specific intents with various language realizations, which, depending on the information need, can range from a single keyword to a long narrative composed of multiple questions. Existing summarization systems, however, often either fail to support or act robustly on this query focused summarization task. We introduce LaQSum, the first unified text summarization system that learns Latent Queries from documents for abstractive summarization with any existing query forms. Under a deep generative framework, our system jointly optimizes a latent query model and a conditional language model, allowing users to plug-and-play queries of any type at test time. Despite learning from only generic summarization data and requiring no further optimization for downstream summarization tasks, our system robustly outperforms strong comparison systems across summarization benchmarks with different query types, document settings, and target domains.

研究の動機と目的

• トレーニングデータとしてクエリ焦点型要約（QFS）のラベルを一切含まない、汎用的要約データのみを活用することで、大規模なQFSトレーニングデータの不足を解消すること。
• 新しいクエリタイプの再トレーニングを必要とせず、汎用的およびクエリ焦点型の抽象的要約を両方サポートする統合型要約システムを構築すること。
• テスト時に任意の形式（例：キーワード、質問）のユーザー指定クエリを許容し、モデルの微調整なしに堅牢なゼロショット推論を可能にすること。
• クエリを入力ドキュメントから直接導出される離散的潜在変数としてモデル化し、パイプライン的クエリ抽出や生成を回避すること。
• 入力ドキュメントのクエリに依存しない視点とクエリ焦点型視点を学習することで、多様なクエリフォーマットやドメインにわたる一般化性と耐性を向上させること。

提案手法

• 抽象的要約を、2つの構成要素を持つ深層生成プロセスとして定式化する：(1) 潜在クエリモデリング（ドキュメントから離散的潜在クエリを生成）と (2) 条件付き言語モデリング（ドキュメントと潜在クエリを条件として要約を生成）。
• 潜在クエリの事後分布を近似するために変分推論フレームワークを用い、バックプロパゲーションによるエンドツーエンドのトレーニングを可能にする。
• テスト時にユーザーが提供するクエリを用いて潜在クエリの事後分布を更新する非パrametricなキャリブレーションステップを導入し、再トレーニングなしにゼロショット推論を実現する。
• 二重視点エンコーダアーキテクチャを採用：一方の視点はクエリに依存しないドキュメント文脈を捉え、もう一方は潜在クエリを通じてクエリに特化した表現を強調する。
• クエリアノテーションを一切含まない汎用的要約データのみでモデルをトレーニングし、抽出タギング（弱い監視）と抽象的生成（強い監視）の両方の監視信号を用いる。
• 後続ドロップアウトとアブレーション技術を適用し、各コンポonentの貢献度を分析し、特にクエリに依存しない視点とクエリ信念更新メカニズムの役割を評価する。

実験結果

リサーチクエスチョン

• RQ1 汎用的要約データのみでトレーニングされた単一のニューラル要約モデルが、テスト時に多様なクエリタイプに堅牢に一般化できるか？
• RQ2 入力ドキュメントから直接導出される離散的潜在変数としてクエリをモデル化することは、パイプライン的クエリ生成や抽出と比較してどの程度有効か？
• RQ3 テスト時に潜在クエリの事後分布に対して非パラメトリックキャリブレーションを施すことで、異なるクエリフォーマットにわたるゼロショット性能がどの程度向上するか？
• RQ4 意味のある潜在クエリを学習する上で、弱い監視（例：タギング）と強い監視（例：人間による要約）の相対的な貢献度はどの程度か？
• RQ5 潜在クエリモデルが不正確であっても、クエリに依存しない視点の導入がモデル性能に与える影響は何か？

主な発見

• LaQSumは、高価なQAやQFSアノテーションを用いるシステム（Bart-Caq や MargeSum を含む）を上回る、ゼロショット抽象的クエリ焦点型要約で最先端の性能を達成した。
• DUC 2007 および DUC 2008 データセットにおいて、LaQSumは強力な抽出ベースラインである QuerySum を上回り、Bart や GSum+Query E といったゼロショット抽象的モデルと比較して、すべての ROUGE メトリクスで優れた性能を示した。
• アブレーションスタディの結果、テスト時に非パラメトリックなクエリキャリブレーションを削除すると、性能が著しく低下することが確認され、ゼロショット適応においてその重要性が裏付けられた。
• タギングと生成の両方の監視信号を統合的にトレーニングすることで、単独での弱い監視や強い監視に比べてより良い結果が得られ、潜在クエリ学習における有益なトレードオフが示された。
• クエリに依存しない視点を削除すると、性能に顕著な低下が見られた。これは、モデルがクエリ焦点型表現に加え、一般ドキュメント文脈を維持することで恩恵を受けることを示している。
• 後続ドロップアウトの実験から、不正確な潜在クエリモデルによる誤差伝搬が生成品質に悪影響を及えることが確認され、堅牢な二重視点アーキテクチャの重要性が強調された。