[論文レビュー] Meeting Summarization: A Survey of the State of the Art

Lakshmi Prasanna Kumar, Arman Kabiri|arXiv (Cornell University)|Dec 16, 2022

Topic Modeling被引用数 4

ひとこと要約

本サーベイは、抽出的および生成的アプローチ、データセット、評価指標、リーダーボード上のモデル性能をカバーする、会議要約技術の包括的な概要を提供する。事実の不一致、長大な入力の処理、アノテート済みデータの不足といった主な課題を特定するとともに、役割に配慮した要約や事実の整合性の向上といった今後の研究分野を強調している。

ABSTRACT

Information overloading requires the need for summarizers to extract salient information from the text. Currently, there is an overload of dialogue data due to the rise of virtual communication platforms. The rise of Covid-19 has led people to rely on online communication platforms like Zoom, Slack, Microsoft Teams, Discord, etc. to conduct their company meetings. Instead of going through the entire meeting transcripts, people can use meeting summarizers to select useful data. Nevertheless, there is a lack of comprehensive surveys in the field of meeting summarizers. In this survey, we aim to cover recent meeting summarization techniques. Our survey offers a general overview of text summarization along with datasets and evaluation metrics for meeting summarization. We also provide the performance of each summarizer on a leaderboard. We conclude our survey with different challenges in this domain and potential research opportunities for future researchers.

研究の動機と目的

• 仮想会議のトランスクリプトからの情報抽出の効率化が高まる中で、会議要約分野における最近の進展を包括的に調査すること。
• マルチスプーカーで構成される会話ベースの会議データに特化した抽出的および生成的要約技術を分析・比較すること。
• ROUGEなどの標準指標を用いて、主要な公開データセット上で最先端のモデルを評価・ベンチマークすること。
• 会議要約分野における主な課題、例えば事実の不一致、長大なコンテキストの処理、アノテート済みデータセットの不足を特定すること。
• 今後の研究分野を整理すること、特に役割に配慮した要約、事実の整合性の向上、長時間の会議へのスケーラビリティの向上を含む。

提案手法

• 本サーベイは、抽出的および生成的アプローチに焦点を当て、会議要約に関する40篇以上の論文を体系的にレビューした。
• ROUGE-1、ROUGE-2、ROUGE-Lなどの標準的な自動評価指標を用いて、複数のベンチマークデータセット上で要約モデルを評価した。
• AMI、ICSI、QMSum、ConvoSummデータセットのための中央集権的なリーダーボードに、出版済みの文献およびオリジナルの論文からのパフォーマンス結果を収集・報告した。
• 主なモデルコンponentsとして、リtrieval増強生成（例：RetrievalSum）、長文コンテキスト対応トランスフォーマー（例：Longformer-BART-arg）、ファインチューニング済み大規模言語モデル（例：DIALOGLM）を分析した。
• 要約品質およびスタイル変換を向上させるために、Group AlignmentやRouge Creditメカニズムといったアーキテクチャの革新を検討した。
• 特に学術的および技術的な会議において、入力構造、発話者役割、ドメイン固有用語が要約パフォーマンスに与える影響を議論した。

実験結果

リサーチクエスチョン

• RQ1 抽出的および生成的会議要約における支配的技術は何か？ また、それらの性能と設計においてどのような相違があるか？
• RQ2 AMI、ICSI、QMSum、ConvoSummといった主要なベンチマークデータセット上で、最先端のモデルはどのように性能を発揮しているか？
• RQ3 会議要約分野における進展を妨げる主な課題は何か？ 例えば、事実の不一致や長大なコンテキストの処理は？
• RQ4 発話者役割やドメイン固有用語は、生成された要約の質と一貫性にどのように影響を与えるか？
• RQ5 事実の整合性の向上およびスケーラビリティの向上を図る上で、最も有望な今後の研究分野は何か？

主な発見

• AMIデータセットでは、RetrievalSumが56.26の最高ROUGE-1スコアを達成し、Group AlignmentおよびRouge Creditメカニズムのおかげで、他の生成的モデルを上回った。
• ICSIデータセットでは、DIALOGLMが49.56のROUGE-1スコアを記録し、HMNetを2.97ポイント上回った。
• Koayら（2020b）はICSIで60.7のROUGE-1スコアを達成し、ドメイン固有用語の影響とモデルの単純さの強力な効果を示した。
• Longformer-BART-argは最大16Kトークンをサポートする長文コンテキストモデルとして、AMIでは競争力のあるパフォーマンスを示し、ICSIでは強力な結果を出したが、DIALOGLMを上回ることはなかった。
• 技術の進展にもかかわらず、生成的会議要約における事実の不一致（誤認）は依然として主要な課題のままである。
• 公に利用可能なアノテート済みデータセットの不足、および業界の会議の特許的性質が、現在のモデルのスケーラビリティと再現可能性を制限している。