[論文レビュー] Dialogue Discourse-Aware Graph Convolutional Networks for Abstractive Meeting Summarization.

Xiachong Feng, Xiaocheng Feng+3 more|arXiv (Cornell University)|Dec 7, 2020

Topic Modeling参考文献 41被引用数 22

ひとこと要約

本論文では、会話固有のディス course 構造をグラフとしてモデル化することで、逐次的手法よりも優れた意味的符号化を可能にする、会話的ディス course 敏銳なグラフ畳み込みネットワーク（DDA-GCN）を提案する。本手法は、質問-回答関係から構築された疑似要約コーパスを活用した事前学習により、AMIデータセットで最先端の性能を達成する。

ABSTRACT

Sequence-to-sequence methods have achieved promising results for textual abstractive meeting summarization. Different from documents like news and scientific papers, a meeting is naturally full of dialogue-specific structural information. However, previous works model a meeting in a sequential manner, while ignoring the rich structural information. In this paper, we develop a Dialogue Discourse-Aware Graph Convolutional Networks (DDA-GCN) for meeting summarization by utilizing dialogue discourse, which is a dialogue-specific structure that can provide pre-defined semantic relationships between each utterance. We first transform the entire meeting text with dialogue discourse relations into a discourse graph and then use DDA-GCN to encode the semantic representation of the graph. Finally, we employ a Recurrent Neural Network to generate the summary. In addition, we utilize the question-answer discourse relation to construct a pseudo-summarization corpus, which can be used to pre-train our model. Experimental results on the AMI dataset show that our model outperforms various baselines and can achieve state-of-the-art performance.

研究の動機と目的

• 会議における会話固有の構造的情報を捉えるために、逐次的モデリングの限界を解消すること。
• 構造的なグラフ表現としてのディス course 関係を統合することで、要約生成の精度を向上させること。
• 質問-回答ディス course 関係を活用して疑似要約コーパスを構築する事前学習戦略を開発すること。
• ディス course 敏銳なグラフ符号化を活用することで、会議要約ベンチマークで最先端の性能を達成すること。

提案手法

• 会話の発話間における所定の会話的ディス course 関係を用いて、会議トランスクリプトをディス course グラフに変換する。
• グラフ畳み込みネットワーク（GCN）を適用し、ディス course グラフからの意味的表現を符号化することで、長距離依存関係や構造的意味を捉える。
• 符号化されたグラフ表現から抽象的要約を生成するために、再帰的ニューラルネットワーク（RNN）デコーダーを用いる。
• 質問-回答ディス course 関係を活用して、モデルの事前学習を可能にする疑似要約コーパスを構築する。
• 疑似コーパスでの事前学習を補完しながら、シーケンス・トゥ・シーケンスの目的関数に従って、モデルをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 会話ディス course 関係をグラフとしてモデル化することで、要約生成の性能が向上するか？
• RQ2 質問-回答ディス course 関係を活用して疑似要約コーパスを構築することは、事前学習においてどの程度有効か？
• RQ3 構造的ディス course 情報を統合することで、逐次的モデリングと比較して意味的表現学習が向上するか？
• RQ4 DDA-GCNモデルは、既存のシーケンスベースの手法と比較して、会議要約ベンチマークでどの程度優れた性能を発揮するか？

主な発見

• 提案されたDDA-GCNモデルは、要約生成のためのAMIデータセットで最先端の性能を達成した。
• グラフ構造としての会話ディス course 関係の活用は、逐次的モデリングに比べて意味的表現学習を顕著に向上させた。
• 質問-回答ディス course 関係から得た疑似要約コーパスでの事前学習により、モデルの汎化性能と性能が向上した。
• 本モデルは、複雑な会話構造を捉え、一貫性があり抽象的な要約を生成する点で優れた性能を示した。