[論文レビュー] Abstractive Dialog Summarization with Semantic Scaffolds

Lin Yuan, Yu Zhou|arXiv (Cornell University)|Oct 2, 2019

Topic Modeling参考文献 34被引用数 16

ひとこと要約

本論文は、会話の発話者役割、意味的スロット、会話ドメインを意味的スケルトンとして活用することで要約品質を向上させる、画期的な抽象的会話要約モデル、Scaffold Pointer Network (SPNet) を提案する。SPNet は MultiWOZ から抽出された新しいデータセットを用いて、自動評価および人的評価の両方で最先端の手法を上回る結果を達成した。

ABSTRACT

The demand for abstractive dialog summary is growing in real-world applications. For example, customer service center or hospitals would like to summarize customer service interaction and doctor-patient interaction. However, few researchers explored abstractive summarization on dialogs due to the lack of suitable datasets. We propose an abstractive dialog summarization dataset based on MultiWOZ. If we directly apply previous state-of-the-art document summarization methods on dialogs, there are two significant drawbacks: the informative entities such as restaurant names are difficult to preserve, and the contents from different dialog domains are sometimes mismatched. To address these two drawbacks, we propose Scaffold Pointer Network (SPNet)to utilize the existing annotation on speaker role, semantic slot and dialog domain. SPNet incorporates these semantic scaffolds for dialog summarization. Since ROUGE cannot capture the two drawbacks mentioned, we also propose a new evaluation metric that considers critical informative entities in the text. On MultiWOZ, our proposed SPNet outperforms state-of-the-art abstractive summarization methods on all the automatic and human evaluation metrics.

研究の動機と目的

• MultiWOZ を基盤とした新しいデータセットを構築することで、高品質な抽象的会話要約データセットの不足を解消すること。
• ニュース中心の抽象的モデルを会話に適用する際の限界（エンティティの保持不良、ドメイン不一致など）を克服すること。
• 発話者役割、意味的スロット、会話ドメインといった構造的意味的スケルトンを統合することで、抽象的要約を向上させること。
• ROUGE を超えて意味的スロットの関連性を捉えることができる新しい自動評価指標 CIC を提案すること。
• 意味的スケルトンが、複数ターン・複数ドメインの会話において要約品質を顕著に向上させることを実証すること。

提案手法

• 発話者役割ごとに別々のエンコーダーを備えたアテンションベースの Seq2Seq フレームワークを採用し、発話者固有の意味をモデル化する。
• デレキシカル化された発話文をデコード段階で使用し、ポインタ機構を介してスロット値を注入することで、レストラン名などの重要なエンティティを保持する。
• 要約生成と同時に会話ドメイン分類を共同最適化することで、ドメインに配慮した生成を向上させる。
• 生成要約内の繰り返しを低減するため、カバレッジ機構を統合する。
• 要約における重要な意味的スロットの関連性を測定する新しい自動評価指標 CIC（Critical Information Coverage）を提案する。
• 新しく構築された抽象的会話要約データセットを用いて、SPNet をエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 発話者役割、意味的スロット、会話ドメインのスケルトンを統合することで、抽象的会話要約の品質が顕著に向上するか？
• RQ2 自動評価および人的評価の両方において、Pointer-Generator や Transformer といった強力なベースラインと比較して、SPNet はどのように性能を発揮するか？
• RQ3 提案された CIC 指標は、ROUGE に比べて、重要なエンティティの保持をより的確に反映しているか？
• RQ4 意味的スケルトンの使用により、単一発話者モデルと比較して、要約の繰り返しや不整合がどれほど低減されるか？
• RQ5 名前付きエンティティを含むニュースや会議の文書など、他の要約タスクへも、意味的スケルトンを再利用することで SPNet は汎用性を持つのか？

主な発見

• SPNet は、ROUGE および提案された CIC 指標を含むすべての自動評価指標で、Pointer-Generator や Transformer を上回った。
• 人的評価では、SPNet は関連性（3.77 vs. 3.56）、読みやすさ（3.80 vs. 3.64）、要約の簡潔さ（3.67 vs. 3.58）において Pointer-Generator を上回り、ペアド t テストの p 値は 0.005 未満であった。
• SPNet は Pointer-Generator に対して 61.3% のペアワイズ順位を獲得し、30.3% の損失にとどまり、人間の好みが顕著に支持した。
• 発話者固有の文脈をモデル化することで、繰り返しや不整合（例：「無料の Wi-Fi」を複数回繰り返すなど）が顕著に低減された。
• SPNet は、基準要約に存在しない正確な情報を偶発的に生成することができ、これは真の要約を超えた一般化の兆候である。
• 教師あり学習であるにもかかわらず、SPNet は、参照要約にない正しい情報を偶発的に生成することができ、一部の一般化能力を示している。