[論文レビュー] Summaries, Highlights, and Action items: Design, implementation and evaluation of an LLM-powered meeting recap system

Sumit Asthana, Sagih Hilleli+2 more|arXiv (Cornell University)|Jul 28, 2023

Topic Modeling被引用数 9

ひとこと要約

本論文は2つのLLMベースの要約表現（ハイライトと階層的ミニッツ）を設計し、システムを構築し、7名のユーザーで評価した。個人の関連性と誤帰属に関する課題が示唆された。

ABSTRACT

Meetings play a critical infrastructural role in coordinating work. The recent surge of hybrid and remote meetings in computer-mediated spaces has led to new problems (e.g., more time spent in less engaging meetings) and new opportunities (e.g., automated transcription/captioning and recap support). Advances in dialogue summarization offer the potential for improving post-meeting experiences, but fixed-length summaries often fail to meet diverse needs, such as quick overviews or detailed insights. To address these gaps, we use cognitive science and discourse theories to conceptualize two recap designs: important highlights and a structured, hierarchical minutes view, targeting complementary recap needs. We operationalize these representations into high-fidelity prototypes using dialogue summarization. Finally, we evaluate the representations' effectiveness with seven users in the context of their work meetings at Microsoft. Our results show both recap types are valuable in different contexts, enabling collaboration through discussions and consensus-building. Exploring the meaning of users adding, editing, and deleting from recaps suggests varying alignment for using these actions to improve AI-recap. Our design implications, such as incorporating organizational artifacts (e.g., linking presentations) in recaps and personalizing context, advance the discourse of effective recap designs for organizational work and support past results from cognition studies.

研究の動機と目的

• 認知科学と談話理論に基づく二つの顕著な要約表現（ハイライトと階層的ミニッツ）を構想する。
• 抽出型/抽象型の対話要約パイプラインを用いたLLMベースの会議要約システムを開発する。
• 2つのユーザー体験をプロトタイプ化し、情報労働者を対象にコンテキスト内評価を行い、有用性とユーザニーズへの適合を評価する。
• ユーザーの相互作用が、時間とともにモデルの整合性を向上させる学習信号を提供できるかを検討する。

提案手法

• 2つの要約体験を運用化する：ハイライト（抽出型＋抽象型の要点と行動アイテム）と階層的ミニッツ（章立てトピックとノートおよび文字起こしの文脈）。
• ハイライトのパイプラインは、抽出に微調整済みdeBERTa、抽象的リライトに微調整済みBARTを使用し、ICSI/AMIデータセットで訓練されている。
• 階層的パイプラインは、テキストティリング（BERTベース）を用いて長い文字起こしを章に分け、発話列から章見出し（deBERTa）とノート（BART）を生成し、大規模な会議発話データセットで訓練されている。
• モデルはウェブプロトタイプに統合され、ユーザーは訓練信号を生成するために項目を編集・追加・削除でき、共有などのコラボレーション機能をサポートする。
• 評価は半構造化インタビューで7名の参加者を含み、有用性・制限、およびユーザーフィードバックからの学習設計への示唆を探る。

(a) Highlights view

実験結果

リサーチクエスチョン

• RQ1 長く複数参加者がいる文字起こしにおける会議要約として、LLMベースの対話要約はどれほど効果的か。
• RQ2 二つの要約表現（ハイライトと階層的ミニッツ）は、異なるユーザーニーズと文脈に対応しているか。
• RQ3 ユーザーの相互作用が、時間とともに要約モデルをユーザーの期待に合わせる信号を提供できるか。
• RQ4 組織の業務で共同の要約文書を使用する利点と欠点は何か。

主な発見

• 対話要約は理解しやすく、記憶の想起、行動計画、共有を支援した。
• 代名詞解決と誤帰属が存在し、グループダイナミクスに影響を及ぼす可能性があった。
• 階層的・章立て構造が意味づけに適していると、認知科学と談話理論によって支持された。
• ハイライトと階層表現の双方が異なる文脈で有用であることが分かり、要約文書を介した協働に関心が示された。
• 参加者は要約を編集・指示でき、モデル整合性の信号を提供したが、削除が高品質な訓練データとは限らなかった。
• 本研究は、自然な相互作用から学習して個人の関連性と要約品質を向上させるAI設計への示唆を特定している。

(b) Hierarchical view