[論文レビュー] Abstractive Dialogue Summarization with Sentence-Gated Modeling Optimized by Dialogue Acts

Chih-Wen Goo, Yun-Nung Chen|arXiv (Cornell University)|Sep 15, 2018

Topic Modeling参考文献 41被引用数 6

ひとこと要約

本稿では、会話行動を対話的シグナルとして明示的に統合することで、要約生成の質を向上させる、新しい文ゲート付きニューラルモデルを提案する。要約出力に条件づけられたゲート機構を通じて、要約生成と会話行動予測を同時に最適化することで、AMIミーティングコーパスにおいて最先端のROUGEスコアを達成した。これは、会話行動がマルチパーティ会議の高レベル要約を生成する上で重要な手がかりを提供することを示している。

ABSTRACT

Neural abstractive summarization has been increasingly studied, where the prior work mainly focused on summarizing single-speaker documents (news, scientific publications, etc). In dialogues, there are different interactions between speakers, which are usually defined as dialogue acts. The interactive signals may provide informative cues for better summarizing dialogues. This paper proposes to explicitly leverage dialogue acts in a neural summarization model, where a sentence-gated mechanism is designed for modeling the relationship between dialogue acts and the summary. The experiments show that our proposed model significantly improves the abstractive summarization performance compared to the state-of-the-art baselines on AMI meeting corpus, demonstrating the usefulness of the interactive signal provided by dialogue acts.

研究の動機と目的

• 会議ドメインにおける要約生成のための要約生成ベンチマークの不足に取り組むこと、特に高レベルのトピック要約を対象とする。
• 会話行動（対話的シグナルを表す）が、要約生成性能の向上に寄与するかどうかを調査すること。
• 新しい文ゲート機構を用いて、会話行動予測と要約生成を同時に最適化するニューラルモデルを設計すること。
• 会話行動が要約生成に与える影響を分析し、コンテンツの重複度よりも効果的なシグナルを提供するかどうかを検証すること。
• トピックベースの要約を用いて、AMIミーティングコーパスを用いて、要約生成のための新しいベンチマークを確立すること。

提案手法

• 要約生成と会話行動の関係をモデル化する文ゲート機構を導入し、会話行動シグナルが要約出力に条件づけられるようにする。
• 会話行動分類に双方向LSTMを採用し、要約生成モデルと同時に学習させる。
• 階層的アテンション付きseq2seqアーキテクチャを要約生成に用い、要約アテンション機構を導入して、重要な発話に注目するように誘導する。
• 要約生成と同時に会話行動予測を行うことで、両方のタスクを向上させる共同最適化を適用する。
• ゲーティング機構を設計し、要約生成の各ステップに応じて会話行動の影響を動的に制御する。
• 入力会話と要約との間で語彙的重複度が非常に低いため（1.2%）、ポインタジェネレータ機構とカバレージ損失を除外した。これにより、コピー機構とカバレージ損失がノイズを増幅するのを防いだ。

実験結果

リサーチクエスチョン

• RQ1 会話行動は、要約生成の改善に有効な対話的シグナルとして機能するか？
• RQ2 会話行動と要約の関係を明示的にモデル化することは、暗黙のディス courseモデリングと比較して、要約生成性能にどのように影響するか？
• RQ3 提案された文ゲート機構は、会話行動予測と要約生成を同時に最適化しないベースラインと比較して優れているか？
• RQ4 異なる会話行動タイプ（例：Inform、Suggest）が、要約生成中のアテンション分布にどの程度影響を与えるか？
• RQ5 会話行動と要約の同時モデリングは、それらを独立してモデリングするか、間接的な手がかりを用いるよりも効果的か？

主な発見

• 要約アテンションを備えた提案された文ゲート付きモデルは、AMIミーティングコーパスにおいて、すべてのROUGE指標で最先端の性能を達成し、すべてのベースラインを顕著に上回った。
• 最良のベースライン（BLSTM + 論理的注意を備えた階層的アテンション）の組み合わせと比較して、パラメータ数を12%削減した。これは、モデルの効率性が向上したことを示している。
• 論理的注意を備えた階層的モデルは、標準的なseq2seqやポインタジェネレータベースラインよりも優れており、ディス courseの手がかりの価値を確認したが、依然として提案手法に劣っていた。
• ポインタジェネレータネットワークが最も成績が悪かった。これは、入力と要約との間で語彙的重複度が非常に低かった（1.2%）ため、コピー機構とカバレージ損失がノイズを増幅したためである。
• アテンション可視化の結果、モデルが特に「Inform」とラベル付けされた発話を適切に注目していることが確認された。これは直感的な期待と整合的である。
• 会話行動アテンションを含む完全なアテンションを持つモデルは、要約アテンションのみを備えたモデルよりも成績が悪く、会話行動予測が主に文脈に依存せず、長距離の文脈からあまり利益を得ないことが示唆された。