[論文レビュー] End-to-End Abstractive Summarization for Meetings.

Chenguang Zhu, Ruochen Xu+2 more|arXiv (Cornell University)|Apr 4, 2020

Topic Modeling参考文献 22被引用数 13

ひとこと要約

本論文は、会議トランスクリプト向けに最適化されたエンド・ツー・エンドの抽象的要約モデルを提案する。ロールに配慮した階層的ネットワークを用いて、発話者間の差異と長距離の文脈を捉える。ICSIデータセットにおいてROUGE-1スコア39.51％を達成し、自動評価および人的評価の両面で、先行手法を顕著に上回る性能を発揮する。

ABSTRACT

With the abundance of automatic meeting transcripts, meeting summarization is of great interest to both participants and other parties. Traditional methods of summarizing meetings depend on complex multi-step pipelines that make joint optimization intractable. Meanwhile, there are a handful of deep neural models for text summarization and dialogue systems. However, the semantic structure and styles of meeting transcripts are quite different from articles and conversations. In this paper, we propose a novel end-to-end abstractive summary network that adapts to the meeting scenario. We design a role vector to depict the difference among speakers and a hierarchical structure to accommodate long meeting transcripts. Empirical results show that our model considerably outperforms previous approaches in both automatic metrics and human evaluation. For example, in the ICSI dataset, the ROUGE-1 score increases from 32.00% to 39.51%.

研究の動機と目的

• ニュース記事や対話とは著しく異なるスタイルおよび構造を持つ会議トランスクリプトから、高品質な抽象的要約を生成する課題に対処すること。
• 共同最適化を妨げる伝統的なマルチステージパイプラインの限界を克服し、発話者固有の貢献をモデル化できない点を解消すること。
• 会議トランスクリプトにおける発話者ロールと長距離の順序依存性を同時にモデル化するニューラルアーキテクチャを設計すること。
• 自動評価指標および人的評価の両面で、既存手法を上回る要約性能を向上させること。

提案手法

• 発話者アイデンティティを符号化し、会議内での参加者間の貢献を区別するためのロールベクトルを導入する。
• 発話レベルおよびターンレベルの表現を捉えることで、長大な会議トランスクリプトをモデル化する階層的エンコーダを実装する。
• トランスクリプトから要約を直接マッピングするエンド・ツー・エンドで学習可能な抽象的要約ネットワークを設計する。
• デコード中に関連する発話と発話者ロールに注目するためのアテンション機構を用いる。
• シーケンス・トゥ・シーケンス学習を用い、交差エントロピー損失でモデルをエンド・ツー・エンドで訓練する。
• 階層的構造を活用して、延長された対話においても時間的および発話者に配慮した文脈を保持する。

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンドのニューラルモデルは、パイプラインベースの手法を上回る性能で、会議トランスクリプトの抽象的要約を効果的に生成できるか？
• RQ2 発話者固有のロールベクトルは、マルチパーティ会議における要約品質をどのように向上させるか？
• RQ3 階層的符号化構造は、長大な会議トランスクリプトのモデリングにどの程度寄与するか？
• RQ4 提案手法は、ICSIを含む標準ベンチマークで、自動評価および人的評価の両面で優れた性能を達成するか？

主な発見

• 提案手法はICSIデータセットでROUGE-1スコア39.51％を達成し、前回の最先端手法（32.00％）を顕著に上回った。
• 人的評価により、本手法が生成する要約は、先行手法のものよりもより自然で、情報量が多く、関連性が高いことが確認された。
• ロールベクトルの統合により、発話者固有の貢献がよりよく捉えられ、要約の整合性および内容選択が向上した。
• 階層的構造により、局所的な発話レベルおよびグローバルなターンレベルの文脈を効果的に保持でき、長大な会議のモデリングに寄与した。
• 多様な会議シナリオにわたり、強力な汎化能力を示す優れた性能を発揮した。
• エンド・ツー・エンドの訓練フレームワークにより、符号化とデコードの共同最適化が可能となり、マルチステージシステムよりも優れた要約品質が得られた。