[論文レビュー] Unsupervised Topic Modeling Approaches to Decision Summarization in Spoken Meetings

Lu Wang, Claire Cardie|Annual Meeting of the Special Interest Group on Discourse and Dialogue|Jun 24, 2016

Topic Modeling参考文献 39被引用数 8

ひとこと要約

本稿では、発話単位での詳細なトピックモデリングを活用して要約価値のある語を特定する、音声会議における教師なし、トークンレベルの意思決定要約フレームワークを提案する。LocalLDAおよびSTMトピックモデルが、ベースラインの発話順序ランク付け手法および教師あり手法を上回ることを示しており、文脈情報を組み込むことでROUGEスコアが向上し、意思決定関連発話に基づく上限値を上回るROUGE-1再現率を達成している。

ABSTRACT

We present a token-level decision summarization framework that utilizes the latent topic structures of utterances to identify "summary-worthy" words. Concretely, a series of unsupervised topic models is explored and experimental results show that fine-grained topic models, which discover topics at the utterance-level rather than the document-level, can better identify the gist of the decision-making process. Moreover, our proposed token-level summarization approach, which is able to remove redundancies within utterances, outperforms existing utterance ranking based summarization methods. Finally, context information is also investigated to add additional relevant information to the summary.

研究の動機と目的

• 発話がしばしば不順で重複が多く、不完全であるため、音声会議から要約的かつ焦点的な意思決定要約を抽出する課題に対処すること。
• 人為的アノテーションによる学習データを必要としない、顕著な語やフレーズを特定できる教師なしトピックモデリングアプローチを検討すること。
• 従来のドキュメントレベルのモデルと比較して、細分化された発話単位でのトピックモデルが意思決定関連コンテンツをよりよく捉えられるかどうかを評価すること。
• 会話の文脈的情報を組み込むことで、明示的に述べられていない意思決定要因（例：「パワーボタン」や「高度なチップ」）を回復できるかどうかを調査すること。
• 発話レベルの抽出要約手法よりもよりコンactかつ正確な要約を可能にするトークンレベルの要約フレームワークを開発すること。

提案手法

• フレームワークは、発話レベルではなくドキュメントレベルではなく、発話レベルでの潜在的トピック構造を発見するために、LocalLDAおよびSTM（構造的トピックモデル）という教師なしトピックモデルを発話データ上で訓練する。
• 要約価値のあるトークンは、トピックの関連性およびトピック間での確率分布に基づいて選択され、これによりトークンレベルの抽出要約アプローチが可能になる。
• 意思決定関連でない隣接発話からの文脈的情報が組み込まれ、『パワーボタン』や『高度なチップ』といった、意思決定関連発話に明示的に言及されていないが重要な意思決定要因を回復できる。
• ROUGE-1、ROUGE-2、ROUGE-SU4スコアを用いて、ベースライン（最長DA、プロトタイプDA）および同一特徴で訓練された教師あり手法（SVM、CRF）と性能を比較する。
• 教師ありモデルには交差検証が用いられ、文脈有無の両方で複数のトピッククラスタリング（5および10トピック）を用いた結果が報告されている。
• フレームワークは、意思決定関連発話行動（DRDAs）およびゴールドスタンダード意思決定要約に焦点を当ててAMI会議コーパスで評価されている。

実験結果

リサーチクエスチョン

• RQ1 発話単位でのトピックモデリングは、ドキュメントレベルのモデリングを上回り、音声会議における意思決定関連コンテンツを効果的に特定できるか？
• RQ2 会話の文脈的情報を組み込むことで、意思決定要約の完全性および正確性が向上するか？
• RQ3 トピックモデルに基づく教師なしトークンレベル要約は、教師あり手法と同等またはそれ以上の性能を達成できるか？
• RQ4 細分化されたトピックモデル（LocalLDAおよびSTM）は、従来の抽出的手法と比較して、意思決定要約におけるROUGE指標で優れているか？
• RQ5 文脈情報が、意思決定関連発話に欠落している情報の補完にどの程度寄与できるか？

主な発見

• LocalLDAおよびSTMは、文脈情報を組み込むことで、それぞれROUGE-1再現率25.96および30.03を達成し、教師ありCRF（15.25）およびSVM（18.45）を上回った。
• 文脈情報の追加により、LocalLDAおよびSTMの両方でROUGE-1再現率が向上し、DRDAのみから計算された上限値をも上回った。
• 細分化されたトピックモデルを用いたトークンレベル要約は、発話順序ランク付けベースライン（例：最長DA、プロトタイプDA）をすべてのROUGE指標で上回った。
• 文脈情報を組み込んだSTMモデルは、最高のROUGE-1 F1スコア（24.47）およびROUGE-SU4 F1スコア（4.76）を達成し、他のすべての手法を上回った。
• フレームワークは、『高度なチップ』や『パワーボタン』といった欠落した意思決定要因を、文脈的発話を利用することで効果的に回復でき、不完全なDRDAを補完する能力を示した。
• 結果から、音声会議における意思決定関連の意味的コンテンツを捉えるには、発話単位での教師なしトピックモデリングがドキュメントレベルのモデリングを上回ることが明らかになった。