[論文レビュー] Combining Acoustics, Content and Interaction Features to Find Hot Spots in Meetings

Dave Makhervaks, William Hinthorn+2 more|arXiv (Cornell University)|Oct 24, 2019

Topic Modeling参考文献 18被引用数 3

ひとこと要約

本稿では、音声的・プロソディック特徴、語彙的（BERTベース）特徴、および対話的特徴を統合することで、会議における関与の高い領域（ホットスポット）を検出する機械学習的手法を提案する。ICSI会議コーパスを用いた実験では、語彙的埋め込みが最も情報量が多く、プロソディック特徴および対話的特徴の追加により段階的な向上が得られ、全特徴を統合した場合に72.6%の不加重平均再現率（UAR）を達成した。

ABSTRACT

Involvement hot spots have been proposed as a useful concept for meeting analysis and studied off and on for over 15 years. These are regions of meetings that are marked by high participant involvement, as judged by human annotators. However, prior work was either not conducted in a formal machine learning setting, or focused on only a subset of possible meeting features or downstream applications (such as summarization). In this paper we investigate to what extent various acoustic, linguistic and pragmatic aspects of the meetings, both in isolation and jointly, can help detect hot spots. In this context, the openSMILE toolkit is to used to extract features based on acoustic-prosodic cues, BERT word embeddings are used for encoding the lexical content, and a variety of statistics based on speech activity are used to describe the verbal interaction among participants. In experiments on the annotated ICSI meeting corpus, we find that the lexical model is the most informative, with incremental contributions from interaction and acoustic-prosodic model components.

研究の動機と目的

• 機械学習を用いて会議における参加者関与度の高い領域（ホットスポット）を自動で検出すること。
• 音声的・プロソディック特徴、語彙的コンテンツ、および発話者間対話的特徴の各特徴がホットスポット検出に与える相対的寄与を評価すること。
• 個々の特徴セットを超える性能向上を実現する特徴統合戦略を調査すること。
• 人間がアノテートしたホットスポットを用いて、ICSI会議コーパス上でアプローチの妥当性を検証すること。
• 会議の一般状況において強力なが、非移譲的なキューとなる笑いの影響を評価すること。

提案手法

• プロソディックな手がかり（周波数やエネルギーなど）を抽出するために、openSMILEツールキットを用いて音声的・プロソディック特徴を抽出した。
• 自動音声認識（ASR）出力のテキストを用いてBERTを用いて文脈的な語彙的埋め込みを生成し、語彙的コンテンツを捉えた。
• 発話活動パターンから、発話者重複率、ユニークな発話者数、ターンチェンジ回数などの対話的特徴を計算した。
• スライディング時間窓を「ホット」または「ホットでない」と分類するため、統合された特徴表現に基づいてロジスティック回帰モデルを訓練した。
• 特徴セットの重要性と相乗効果を評価するために、1人を除いた交差検証（leave-one-out）分析を実施した。
• ホールドアウトテストセット上で不加重平均再現率（UAR）を用いて性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 音声的・プロソディック特徴、語彙的特徴、対話的特徴は、会議におけるホットスポット検出にそれぞれどのように寄与するか？
• RQ2 機械学習モデルに統合された際、これらの3つの特徴タイプはどの程度相乗効果を示すか？
• RQ3 笑いを特徴として含めることで検出性能にどのような影響があるか。また、その特徴は、ビジネス会議のような一般的な会議設定に移譲可能か？
• RQ4 従来の手法（例：TF-IDF）と比較して、文脈的な語彙的埋め込み（例：BERT）を用いることで、関与度分類の性能が向上するか？
• RQ5 シンプルなロジスティック回帰モデルは、多様な特徴タイプを効果的に統合し、ホットスポット検出に有効か？

主な発見

• BERT語彙的埋め込みを用いた語彙的モデルが、個別に評価した中で最高のUAR 70.5%を達成し、TF-IDF（59.8%）を顕著に上回った。
• 音声的・プロソディック特徴のみを用いた場合、UARは62.0%にとどまり、ホットスポット検出に中程度だが意味のある寄与があることが示された。
• ターンチェンジ回数や発話者重複率といった対話的特徴は、個別に用いた場合に66.6%のUARを示し、段階的な寄与が確認された。
• 3つの特徴タイプを統合した統合モデルは、UAR 72.6%を達成し、非冗長的かつ相乗的な寄与が示された。
• 笑いを特徴として含めることで、UARは77.5%に上昇したが、これは一般的な会議タイプ（例：ビジネス会議）への移譲性が低いと判断された。
• 1人を除いた交差検証分析から、語彙的埋め込みを除いた場合に性能低下が最も顕著に現れ、統合モデルにおけるその主導的役割が裏付けられた。