[論文レビュー] Multi-View Sequence-to-Sequence Models with Conversational Structure for Abstractive Dialogue Summarization

Jiaao Chen, Diyi Yang|arXiv (Cornell University)|Oct 4, 2020

Topic Modeling参考文献 38被引用数 7

ひとこと要約

本稿では、会話構造（トピックビューと段階ビュー）に加え、一般的なビュー（グローバルビューと離散的ビュー）を統合したマルチビュー変換系列モデルを提案する。マルチビュー符号化器を用いて会話の複数の視点を符号化し、クロスビュー注意機構を備えたマルチビュー復元器により要約を生成することで、SAMSumデータセットにおいて自動評価および人的評価の両面で最先端の性能を達成した。

ABSTRACT

Text summarization is one of the most challenging and interesting problems in NLP. Although much attention has been paid to summarizing structured text like news reports or encyclopedia articles, summarizing conversations---an essential part of human-human/machine interaction where most important pieces of information are scattered across various utterances of different speakers---remains relatively under-investigated. This work proposes a multi-view sequence-to-sequence model by first extracting conversational structures of unstructured daily chats from different views to represent conversations and then utilizing a multi-view decoder to incorporate different views to generate dialogue summaries. Experiments on a large-scale dialogue summarization corpus demonstrated that our methods significantly outperformed previous state-of-the-art models via both automatic evaluations and human judgment. We also discussed specific challenges that current approaches faced with this task. We have publicly released our code at https://github.com/GT-SALT/Multi-View-Seq2Seq.

研究の動機と目的

• キーメッセージが複数の発話者や発話に散らばる非形式的・散逸的・冗長な会話的対話を要約する課題に対処すること。
• 既存モデルがしばしば無視するトピック進行や会話段階といった会話構造を明示的にモデル化することで、抽象的会話要約の性能を向上させること。
• トピック、段階、グローバル、離散的ビューを含む、同じ会話の複数のビューを符号化することで、情報損失や誤差の連鎖を低減すること。
• 多様な会話構造を統合することで、単一ビューまたは文書中心のアプローチに比べ、より正確で忠実で包括的な要約が得られることを示すこと。
• コアファレンス、役割の変化、否定などの会話要約における主な課題を特定・分析し、それらを具体的なモデルの誤りと関連付けること。

提案手法

• モデルは、同じ会話を4つの異なるビューで処理する符号化器を用いる：トピックビュー（トピックセグメンテーション）、段階ビュー（会話進行段階）、グローバルビュー（会話を1つの単位として扱う）、離散的ビュー（個々の発話をセグメントとして扱う）。
• 各ビューは共有または共有符号化器を用いて別々に符号化され、異なる視点からの構造的情報を保持する。
• マルチビュー復元器は、マルチビュー注意機構を用い、自己回帰的復元中に全4ビューの表現に動的に注目することで、より豊かな文脈統合を実現する。
• モデルは、SAMSumデータセット上で標準的な系列系列損失（例：交差エントロピー）を用いてエンドツーエンドで学習され、トピックビューおよび段階ビューについては教師なしセグメンテーションが適用される。
• 復元器が、現在の復元ステップにおける関連性に応じて、異なるビューからの寄与度を重みづける注目メカニズムが組み込まれている。
• ROUGEスコアと人的評価を用いた評価が行われ、誤り分析によりモデルの失敗要因を特定し、具体的な会話的課題と関連付ける。

実験結果

リサーチクエスチョン

• RQ1 トピック進行や段階進行といった複数の会話構造をモデル化することで、単一ビューまたは文書中心のモデルに比べ、抽象的会話要約の性能が向上するか？
• RQ2 トピック、段階、グローバル、離散的ビューといった異なる会話ビューが、要約の質および忠実性にどのように寄与するか？
• RQ3 コアファレンス、否定、役割の変化などの会話的課題（例）が、モデルのパフォーマンスおよび誤りパターンに最も顕著に影響を与えるのはどのような場合か？
• RQ4 マルチビュー学習と構造的注意機構により、会話要約における情報損失や誤差の連鎖がどの程度軽減されるか？
• RQ5 欠落情報、誤った参照、誤った推論といった誤りタイプが、特定の会話的課題とどのように相関するか？

主な発見

• 提案されたマルチビュー系列系列モデルは、SAMSumデータセットにおいて最先端の性能を達成し、自動評価（ROUGE）および人的評価の両方で、以前の最先端モデルを上回った。
• モデルは、要約の37％で見られた最も一般的な誤り（情報欠落）を、低い頻度にまで低減した。これは、重要な会話内容のカバレッジが向上したことを示している。
• 誤った推論や誤った参照は、参照／コアファレンスや役割／言語の変化といった課題と強く相関しており、より良いディコーススモデリングの必要性が浮き彫りになった。
• モデルは、一般的で単純な会話では最高のROUGEスコアを示したが、複数の発話者と役割の変化が見られる複雑な会話では性能が著しく低下した。
• 誤り分析の結果、まれではあるが6％の頻度で誤った性別を示す代名詞が使用されており、ROUGE-1およびROUGE-2に顕著な悪影響を与えていた。これは、代名詞解決の改善が求められることを示唆している。
• 共起ヒートマップの分析から、コアファレンス、否定、遮断などの主な課題が、情報欠落誤りと強く相関しており、重要な情報検出におけるシステム的課題であることが明らかになった。