[論文レビュー] Summarizing Decisions in Spoken Meetings

Lu Wang, Claire Cardie|arXiv (Cornell University)|Jun 25, 2016

Topic Modeling参考文献 24被引用数 12

ひとこと要約

本稿では、会話型会議における意思決定関連発話行動（DRDA）をクラスタリングし、発話行動（DA）レベルおよびトークンレベルで教師ありおよび教師なし要約を適用することで、要約された意思決定要約を生成するフレームワークを提案する。本研究では、トークンレベルの要約に話法的文脈を組み込むことで、ゴールスタンダードの発話行動要約と同等の性能に近づくことが示され、教師なしLDAベースのクラスタリングが教師ありSVMクラスタリングと同等の要約（ROUGE-F1 0.22 vs. 0.23）を達成することが分かった。

ABSTRACT

This paper addresses the problem of summarizing decisions in spoken meetings: our goal is to produce a concise {\it decision abstract} for each meeting decision. We explore and compare token-level and dialogue act-level automatic summarization methods using both unsupervised and supervised learning frameworks. In the supervised summarization setting, and given true clusterings of decision-related utterances, we find that token-level summaries that employ discourse context can approach an upper bound for decision abstracts derived directly from dialogue acts. In the unsupervised summarization setting,we find that summaries based on unsupervised partitioning of decision-related utterances perform comparably to those based on partitions generated using supervised techniques (0.22 ROUGE-F1 using LDA-based topic models vs. 0.23 using SVMs).

研究の動機と目的

• 会話型会議における意思決定の要約を簡潔かつ解釈可能に生成するという課題に取り組むこと。これは、しばしば断片的で重複する性質を持つためである。
• 意思決定関連発話行動（DRDA）のクラスタリングに用いる教師ありおよび教師なし手法の有効性を比較すること。
• 話法的文脈を組み込むことで、意思決定要約の品質および解釈可能性が向上するかを評価すること。
• 真のクラスタリングが利用可能な状況で、トークンレベルの要約が発話行動レベルの要約を上回るかを調査すること。
• 教師なしクラスタリング（例：LDA）が、教師ありクラスタリング（例：SVM）と同等の品質の意思決定要約を生成できるかを同定すること。

提案手法

• 意思決定関連発話行動（DRDA）のクラスタリングに、教師なし（TF-IDF, LDA）および教師あり（SVM, MaxEnt, CRF）手法を用い、発話を意思決定ごとにグループ化する。
• 各クラスタから最も情報量の多いDRDAを選択し、それらを連結することで発話行動レベルの要約を実現する。
• 教師ありモデル（SVM, MaxEnt）を用いて、選択されたDRDAを要約し、簡潔な意思決定要約に圧縮するトークンレベルの要約。
• 要約の品質および解釈可能性を向上させるために、話法的文脈（上位20件の関連するDA）を統合する。
• 評価にはROUGE-F1を用い、システム出力とAMI会議コーパスからのゴールスタンダード意思決定要約を比較する。
• AMI会議コーパスを用いた実験を行い、機能語およびクラスタリング手法に関するアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 教師なしクラスタリングによる意思決定関連発話行動（DRDA）のクラスタリングは、教師ありクラスタリングと同等の品質の意思決定要約を生成できるか？
• RQ2 話法的文脈を組み込むことで、トークンレベルでの意思決定要約の品質および解釈可能性が向上するか？
• RQ3 真のクラスタリングが利用可能な状況で、トークンレベルの要約が発話行動レベルの要約を上回るか？
• RQ4 ROUGE-F1性能の観点から、さまざまな要約フレームワーク（教師なし対教師あり）はどのように比較されるか？
• RQ5 機能語が要約性能に与える影響はどの程度か。また、その除去により性能が向上するか？

主な発見

• 真のクラスタリングとSVMベースの要約を用いたトークンレベルの要約は、話法的文脈を組み込むことでROUGE-F1が0.23に達し、発話行動ベースの要約の上限に近づいた。
• 教師なしLDAベースのクラスタリングはROUGE-F1が0.2214を達成し、教師ありSVMベースのクラスタリング（0.2349）およびCRFベースのクラスタリング（0.1935）と同等の要約を生成した。
• 真のクラスタリングが利用できない状況では発話行動レベルの要約が、トークンレベルの要約を上回るが、クラスタリングが正確な場合にはトークンレベルの要約が優れている。
• 話法的文脈はトークンレベルの要約性能を向上させるが、発話行動レベルの要約には顕著な向上効果を示さない。
• ゴールスタンダード要約から機能語を除去しても顕著な性能向上が得られず、語彙の不一致が主な要因ではないことが示された。
• SVMは、すべての要約タスクにおいてCRFを常に上回るか同等の性能を示し、意思決定要約におけるその頑健性が裏付けられた。