[論文レビュー] Controllable Abstractive Dialogue Summarization with Sketch Supervision

Chien-Sheng Wu, Linqing Liu+3 more|arXiv (Cornell University)|May 28, 2021

Topic Modeling参考文献 57被引用数 6

ひとこと要約

本稿では、文構造解析を用いて意図とキーフレーズを抽出することで弱教師付きの要約スケッチを生成し、その後テキストスパンの切断位置を予測することで長さを制御可能な要約を生成する2段階生成プロセスを採用する制御可能な抽象的対話要約モデルCODSを提案する。本モデルはSAMSumで最先端の性能を達成し、ROUGE-Lスコア50.79を記録するとともに、制御性を重視した人間評価でも優れた結果を示した。

ABSTRACT

In this paper, we aim to improve abstractive dialogue summarization quality and, at the same time, enable granularity control. Our model has two primary components and stages: 1) a two-stage generation strategy that generates a preliminary summary sketch serving as the basis for the final summary. This summary sketch provides a weakly supervised signal in the form of pseudo-labeled interrogative pronoun categories and key phrases extracted using a constituency parser. 2) A simple strategy to control the granularity of the final summary, in that our model can automatically determine or control the number of generated summary sentences for a given dialogue by predicting and highlighting different text spans from the source text. Our model achieves state-of-the-art performance on the largest dialogue summarization corpus SAMSum, with as high as 50.79 in ROUGE-L score. In addition, we conduct a case study and show competitive human evaluation results and controllability to human-annotated summaries.

研究の動機と目的

• 対話構造からの構造的で弱教師付きの信号を統合することで、抽象的対話要約の品質を向上させること。
• 複数の長さで人間がアノテートした要約を必要とせずに、要約の粒度を細かく制御できること。
• 情報が分散していること、境界検出の難しさ、話者間の相互作用のモデリングといった、対話要約における課題に取り組むこと。
• 事実的に整合的で情報量が多く、解釈可能で制御可能な要約を生成する手法を開発すること。
• 自動評価と人間評価を併用して、最大の既存の対話要約データセットであるSAMSumでモデルを評価すること。

提案手法

• 本モデルは2段階生成戦略を採用する：まず文構造解析器を用いて対話の各ターンごとに疑問代名詞のカテゴリーとキーフレーズを抽出し、要約スケッチを生成する。
• 要約スケッチは弱教師付き信号として機能し、BART-xsumベースの生成器が最終的な抽象的要約を生成する際に条件付けられる。
• 対話内のセグメント境界を予測することで、要約文の数を制御するテキストスパンベースの条件付き生成メカニズムを導入する。
• モデルは対話を文脈スパンに分割し、それぞれが1つの要約文に対応するようにする。これにより、複数の長さの参照要約を必要とせず、長さの制御が可能になる。
• 本手法は、ノイズ除去の目的で事前学習されたBART-xsumを微調整し、さらにXSUMで抽象的要約のための微調整を実施する。
• 条件付き生成の枠組みを採用し、対話スパンごとに1文ずつ生成することで、解釈可能性と制御性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 句構造解析から得られる弱教師付きの要約スケッチは、抽象的対話要約の品質向上に寄与するか？
• RQ2 スパンベースの条件付き生成メカニズムは、複数の粒度レベルで人間がアノテートした要約を必要とせずに、要約長の制御を可能にするか？
• RQ3 従来手法と比較して、本モデルの事実的整合性と情報量の両面での性能はどのように評価されるか？
• RQ4 スケッチの弱教師信号は、複数の話者や対話ターンにわたる分散情報や顕著な情報を捉える能力をどの程度向上させるか？
• RQ5 本モデルは、多様な対話トピックや長さに一般化可能であり、ROUGEスコアと人間評価の両面で高い性能を維持できるか？

主な発見

• CODSはSAMSumデータセットで50.79の最先端ROUGE-Lスコアを達成し、先行手法を上回った。
• 人間評価においても優れた結果を示し、特に制御可能な設定下で事実的に整合的で情報量の多い要約を生成した。
• 要約スケッチの活用により、複数の話者と対話ターンにわたるキーメッセージの特定と表現能力が向上した。
• スパンベースの長さ制御メカニズムにより、複数のアノテート済み要約を必要とせず、自動的かつ解釈可能な要約粒度制御が可能になった。
• 事例研究では、キーフレーズ抽出のみでは失敗する場合でも、顕著な内容を効果的に強調し、重要な事実を漏れなく抽出できることを示した。
• 本モデルは、ChenとYang（2020）の手法をSAMSumで3ポイント上回り、特徴の効果的利用が図られていることが示された。