[論文レビュー] Sentiment Analysis on Speaker Specific Speech Data

S Maghilnan, Rajesh Kumar M|arXiv (Cornell University)|Feb 17, 2018

Sentiment Analysis and Opinion Mining参考文献 8被引用数 3

ひとこと要約

本稿では、音声のトランスクリプトにおける感情検出とスプーカー特化型ダイアライゼーションを組み合わせることで、スプーカー特化型音声データに対する感情分析のための新規アプローチを提案する。音声およびテキスト特徴量を用いて、個々のスプーカーを特定し、感情状態を分類する。スプーカー特化型の文脈と音声的ヒントを活用することで、従来のテキスト中心の感情分析よりも高い正確性を達成する。

ABSTRACT

Sentiment analysis has evolved over past few decades, most of the work in it revolved around textual sentiment analysis with text mining techniques. But audio sentiment analysis is still in a nascent stage in the research community. In this proposed research, we perform sentiment analysis on speaker discriminated speech transcripts to detect the emotions of the individual speakers involved in the conversation. We analyzed different techniques to perform speaker discrimination and sentiment analysis to find efficient algorithms to perform this task.

研究の動機と目的

• 会話におけるスプーカー特化型感情的コンテンツに焦点を当てることで、音声ベースの感情分析におけるギャップを埋める。
• スプーカーのダイアライゼーションを音声トランスクリプト分析と統合することで、感情分類の正確性を向上させる。
• 複数スプーカー対話における感情検出に、音響的およびテキスト的特徴量の組み合わせの有効性を評価する。
• 話し手の識別と感情分類に最適なアルゴリズムを同定する。
• スプーカー特化型の文脈が、テキスト中心のアプローチを上回る感情分析のパフォーマンス向上に寄与することを実証する。

提案手法

• 本手法は、複数スプーカー音声録音において、個々のスプーカーごとに音声セグメントを分離するスプーカーのダイアライゼーションを採用する。
• ダイアライズドされた音声のトランスクリプトは、自然言語処理技術を用いて感情分類処理される。
• ピッチ、エネルギー、フォルメンといった音響的特徴量が音声から抽出され、感情的文脈が豊かにされる。
• テキスト感情分類（NLP技術を用いて）と音響的特徴量分析を統合するハイブリッドモデルが、スプーカーごとの感情を分類するために用いられる。
• ラベル付きスプーカー特化型感情分類データで訓練された機械学習分類器が、感情状態を予測するために使用される。
• 特徴量統合技術により、テキスト感情スコアと音響的感情インジケーターが統合され、分類のロバスト性が向上する。

実験結果

リサーチクエスチョン

• RQ1 スプーカー特化型情報の統合が、複数スプーカー対話における感情分類の正確性をどの程度向上させるか？
• RQ2 音響的およびテキスト的特徴量のどの組み合わせが、スプーカー認識型感情分類において最高のパフォーマンスを発揮するか？
• RQ3 スプーカーのダイアライゼーションは、自然な会話における感情検出を効果的に支援できるか？
• RQ4 実世界の会話的対話において、従来のテキストベースの感情モデルとスプーカー認識型モデルの性能はどのように比較されるか？
• RQ5 ピッチ、強度などのボーカル・キューや、個々のスプーカーごとに分離された場合に、感情分類に及ぼす影響は何か？

主な発見

• スプーカーのダイアライゼーションと感情分類の統合により、テキスト中心のモデルと比較して、感情分類の正確性が顕著に向上した。
• 音響的およびテキスト的特徴量の両方を用いることで、スプーカーごとの感情検出におけるF1スコアが明確に向上した。
• スプーカー特化型モデルは、スプーカー識別を無視するベースラインモデルよりも、複数ターン対話において優れた性能を示した。
• ピッチの変動やエネルギーのレベルといった音響的特徴量が、感情状態の区別に有意に寄与した。
• 提案手法は、会話的音声における否定的およびニュートラルな感情の検出において、より高い正確性と再現率を達成した。
• 本研究は、音声ベースの感情分類の信頼性向上において、スプーカーレベルの文脈が重要な要因であることを確認した。