[論文レビュー] Restructuring Conversations using Discourse Relations for Zero-shot Abstractive Dialogue Summarization

Prakhar Ganesh, Saket Dingliwal|arXiv (Cornell University)|Feb 5, 2019

Topic Modeling被引用数 6

ひとこと要約

本稿では、会話の構造を話題の関係性（discourse relations）を用いて再構築することで文書に類似した構造にし、事前学習済みの文書要約モデル（例：BART や PGN）を用いて要約を行うゼロショットの抽象的会話要約手法を提案する。この手法は、最大で ROUGE スコアを3ポイント向上させ、ドメイン特化した学習データを必要としない点で、既存手法を上回る性能を発揮する。

ABSTRACT

Dialogue summarization is a challenging problem due to the informal and unstructured nature of conversational data. Recent advances in abstractive summarization have been focused on data-hungry neural models and adapting these models to a new domain requires the availability of domain-specific manually annotated corpus created by linguistic experts. We propose a zero-shot abstractive dialogue summarization method that uses discourse relations to provide structure to conversations, and then uses an out-of-the-box document summarization model to create final summaries. Experiments on the AMI and ICSI meeting corpus, with document summarization models like PGN and BART, shows that our method improves the ROGUE score by up to 3 points, and even performs competitively against other state-of-the-art methods.

研究の動機と目的

• アノテート済みの学習データが乏しい低リソース環境における抽象的会話要約の課題に対処すること。
• 話題の関係性を用いて非構造的で非形式的な会話を構造化することで、要約品質を向上させること。
• 微調整を伴わない事前学習済みの文書要約モデルを活用することで、ゼロショットの適応を可能にすること。
• エンドツーエンドの学習を回避し、柔軟性があり解釈可能で簡単にデバッグ可能なパイプラインを提供すること。
• タスク特化のアノテーションではなく、話題レベルのアノテーションを用いることで、ドメインを超えた一般化を実現すること。

提案手法

• 本手法は二段階のパイプラインを採用する：まず、話題関係分類器が発話同士の関係（例：'Elab'、'Contrast'、'Cause'、'Question-Answer'）を特定する。
• 得られた話題関係を用いて、元の会話を意味的・論理的な流れを保った線形的で文書に類似した順序に再構築する。
• 再構築された会話を、事前学習済みの抽象的文書要約モデル（例：BART や PGN）に供給し、最終的な要約を生成する。
• 話題ラベルは事前学習済みの話題解析器を用いて予測されるため、未学習のドメインに対してもゼロショットで展開可能である。
• 生成された要約における共参照解決を改善するために、代名詞解決が適用される。これにより要約の整合性が向上する。
• エンドツーエンドの学習を回避し、文書要約と話題解析から得られる、既に検証済みのコンポーネントを組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 話題関係に基づく再構築は、ゼロショット設定下で抽象的会話要約の性能を向上させ得るか？
• RQ2 話題再構築済みの会話に対して標準的な文書要約モデルを適用した場合、生の会話に対して適用した場合と比べて性能はどのように変化するか？
• RQ3 微調整なしで、話題関係に基づく再構築は、さまざまな会話ドメインに一般化可能か？
• RQ4 話題関係を活用した再構築は、生の会話に直接文書モデルを適用した場合と比較して、より一貫性がありなめらかな要約を生成するか？
• RQ5 単純な二段階パイプラインは、大規模なアノテート済みデータを必要とする複雑なエンドツーエンドの会話要約モデルを上回る性能を発揮できるか？

主な発見

• 提案手法は、AMI および ICSI データセットにおいて、生の会話に直接適用したベースラインの文書要約モデルと比較して、ROUGE スコアを最大3ポイント向上させた。
• 微調整やドメイン特化データを一切使用しないにもかかわらず、最先端の会話要約モデルと同等の性能を達成した。
• 話題関係を用いた会話再構築は、生成された要約の整合性と事実の整合性を顕著に向上させた。
• 会議や非形式的な会話など多様な会話タイプにおいても、強力なゼロショット一般化性能を維持した。
• 話題解析と事前学習済み要約モデルの統合により、生の会話に直接モデルを適用した場合と比較して、よりなめらかで人間らしい要約が得られた。
• 話題関係が要約生成前の入力構造の変更理由を明確に示すため、本手法は頑健で解釈可能である。