[論文レビュー] A Hierarchical Network for Abstractive Meeting Summarization with Cross-Domain Pretraining

Chenguang Zhu, Ruochen Xu+2 more|arXiv (Cornell University)|Apr 4, 2020

Topic Modeling参考文献 44被引用数 8

ひとこと要約

本稿では、データ不足と長文シーケンスの課題に対処するため、話者役割ベクトルとニュース要約データを用いたクロスドメイン事前学習を組み込んだ階層的トランスフォーマー基盤モデルであるHMNetを提案する。このモデルは最先端の性能を達成し、ICSIデータセットにおいてROUGE-1を34.66%から46.28%へと11.62ポイント向上させた。

ABSTRACT

With the abundance of automatic meeting transcripts, meeting summarization is of great interest to both participants and other parties. Traditional methods of summarizing meetings depend on complex multi-step pipelines that make joint optimization intractable. Meanwhile, there are a handful of deep neural models for text summarization and dialogue systems. However, the semantic structure and styles of meeting transcripts are quite different from articles and conversations. In this paper, we propose a novel abstractive summary network that adapts to the meeting scenario. We design a hierarchical structure to accommodate long meeting transcripts and a role vector to depict the difference among speakers. Furthermore, due to the inadequacy of meeting summary data, we pretrain the model on large-scale news summary data. Empirical results show that our model outperforms previous approaches in both automatic metrics and human evaluation. For example, on ICSI dataset, the ROUGE-1 score increases from 34.66% to 46.28%.

研究の動機と目的

• 従来のパイプライン手法では扱いにくい長期間にわたる複数話者による会議トランスクリプトから高品質な要約を生成する課題に対処する。
• 会議要約データの不足を補うために、ニュース要約データセットを大規模に事前学習することで、データ不足を緩和する。
• 会議における参加者同士の異なる意味的スタイルや視点を捉えるために、話者役割情報を統合することで、モデルの汎化性能と性能を向上させる。
• 長期間のトランスクリプトにおける発話レベルおよび会議レベルの意味を効果的にモデル化できる階層的アーキテクチャを設計する。
• 要約の各コンponentを統合的に最適化できるエンド・ツー・エンドで学習可能なフレームワークを構築し、複数段階で構成され微分不能なパイプライン手法の限界を克服する。

提案手法

• トークンレベルの理解（個々の発話内）と会議全体におけるターンレベルの理解（発話間）の2段階の階層的トランスフォーマー・エンコーダ・デコーダアーキテクチャを採用する。
• 話者役割ベクトル（各話者ごとに学習された埋め込み表現）を導入し、エンコーディング段階で統合することで、参加者（例：プロダクトマネージャー対デザイナー）の異なる視点や意味的スタイルをモデル化する。
• 会議要約データの不足を補うために、大規模なニュース要約データ（例：CNN/Daily Mail）で事前学習を行い、その後会議データセットで微調整する。
• デコーダー内にポインタジェネレータネットワークを採用し、語のコピーと生成のバランスを取ることで、未知語の問題を軽減し、事実の整合性を向上させる。
• トークンレベルおよびターンレベルの両方でマルチヘッド自己注意機構を適用し、要約生成中に異なる粒度の関連コンテンツに注目できるようにする。
• 標準的なシーケンス・トゥ・シーケンスの目的関数を用いてエンド・ツー・エンドで最適化することで、エンコーディング、注目機構、デコーディングコンponentの統合的学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 複雑な複数ターン対話を持つ長期間の会議トランスクリプトを効果的にモデル化できるか、また計算上の実行可能性は保たれているか？
• RQ2 話者役割ベクトルを組み込むことで、モデルの異なる話者視点の捉え方と要約品質への向上効果はどの程度か？
• RQ3 ニュース要約データを用いたクロスドメイン事前学習は、リソースが限られた会議要約タスクの性能向上にどの程度有効か？
• RQ4 提案されたエンド・ツー・エンドフレームワークは、自動評価指標および人的評価の両面で、従来の複数段階で構成され非微分可能なパイプライン手法を上回っているか？
• RQ5 階層構造、役割ベクトル、事前学習の各コンポーネントが、全体の性能向上に果たす寄与度はどの程度か？

主な発見

• HMNetはICSIデータセットでROUGE-1スコア46.28%を達成し、以前の最先端手法（34.66%）を著しく上回った。
• モデルは新規n-gramの割合が高く（2-gramで43.2%、3-gramで22.1%）、強力な要約生成能力を示している。
• 人的評価では、ベースラインモデルと比較して、HMNetがより自然で情報量が多く、構成の整った要約を生成することが確認された。
• アブレーションスタディの結果、階層構造、役割ベクトル、クロスドメイン事前学習の各コンポーネントが性能向上に顕著な寄与をしていることが示された。
• トランスクリプトからの正確な語のコピーに依存する割合は低く、4-gramのうちたった12.4%しかコピーされていないため、強力な要約生成能力が裏付けられた。
• 長文のコンテキスト処理の課題にもかかわらず、HMNetは重要な意思決定、トピック、話者貢献を効果的に捉えており、過剰に要約したり、重要な詳細を省略したりする傾向がほとんどなかった。