[論文レビュー] Learning Robust Heterogeneous Signal Features from Parallel Neural Network for Audio Sentiment Analysis

Feiyang Chen, Ziqian Luo|arXiv (Cornell University)|Nov 20, 2018

Music and Audio Processing参考文献 41被引用数 9

ひとこと要約

本論文では、アテンションを用いた特徴融合により、スペクトル、ケプストラル、メルスペクトログラム表現といった頑健な異種音声特徴を抽出する平行なCNN-LSTMニューラルネットワークモデル、AFF-ACRNNを提案する。このモデルは、MOSIデータセットにおいて最先端手法より9.33%の向上を達成し、音声感情分析における優れた精度と一般化性能を示している。

ABSTRACT

Audio Sentiment Analysis is a popular research area which extends the conventional text-based sentiment analysis to depend on the effectiveness of acoustic features extracted from speech. However, current progress on audio sentiment analysis mainly focuses on extracting homogeneous acoustic features or doesn't fuse heterogeneous features effectively. In this paper, we propose an utterance-based deep neural network model, which has a parallel combination of Convolutional Neural Network (CNN) and Long Short-Term Memory (LSTM) based network, to obtain representative features termed Audio Sentiment Vector (ASV), that can maximally reflect sentiment information in an audio. Specifically, our model is trained by utterance-level labels and ASV can be extracted and fused creatively from two branches. In the CNN model branch, spectrum graphs produced by signals are fed as inputs while in the LSTM model branch, inputs include spectral features and cepstrum coefficient extracted from dependent utterances in audio. Besides, Bidirectional Long Short-Term Memory (BiLSTM) with attention mechanism is used for feature fusion. Extensive experiments have been conducted to show our model can recognize audio sentiment precisely and quickly, and demonstrate our ASV is better than traditional acoustic features or vectors extracted from other deep learning models. Furthermore, experimental results indicate that the proposed model outperforms the state-of-the-art approach by 9.33\% on Multimodal Opinion-level Sentiment Intensity dataset (MOSI) dataset.

研究の動機と目的

• 既存の音声感情分析手法が同種の特徴に依存している、または異種音声特徴の効果的でない統合に起因する制限を解消すること。
• スペクトルおよび時間的信号表現の両方を活用することで、発話内の文脈依存の感情の兆候を捉える深層学習モデルを開発すること。
• 文脈に配慮したアテンションメカニズムを用いて、複数の音声信号タイプからの判別性の高い特徴を統合することで、感情分類の精度を向上させること。
• 多様な言語的および感情的文脈、特に低リソース言語や非英語言語においてもモデルの頑健性を検証すること。
• 提案された音声感情ベクトル（ASV）が多言語およびマルチモーダル環境において一般化能力を示すことを実証すること。

提案手法

• モデルは、スペクトログラム入力を処理するCNNブランチと、発話から抽出されたケプストラルおよびスペクトル特徴を処理するLSTMブランチを併用する並列アーキテクチャを採用する。
• Librosaツールキットを用いて抽出された4つの主要な異種音声特徴（メルスペクトログラム、MFCC、クロマ、ゼロクロッシングレート）が、二重ブランチネットワークの入力として使用される。
• CNNブランチおよびLSTMブランチから別々に音声感情ベクトル（ASV）が生成される：CNNからのCASVとLSTMからのLASVは、グローバル平均プーリングを用いて算出される。
• 双方向LSTM（BiLSTM）とアテンション機構により、CASVとLASVが統合され、感情に関連する時間的パターンに重点を置いた最終的なASVが得られる。
• 発話レベルの感情ラベルを用いてエンドツーエンドでモデルを訓練し、特徴抽出と分類の両方を統合最適化する。
• アテンション機構は、感情に寄与する関連性の高い特徴ベクトルに動的に重みを付けることで、判別力の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 並列なCNN-LSTMアーキテクチャは、異種音声特徴を効果的に抽出・統合し、音声感情分類を向上させることができるか？
• RQ2 CNNとLSTMブランチのアテンションに基づく統合は、単一ブランチまたは非アテンション手法と比較して、感情表現をどのように向上させるか？
• RQ3 提案されたモデルは、中国語（北京語）、広東語、四川語など、さまざまな言語や方言にどの程度一般化可能か？
• RQ4 音声感情ベクトル（ASV）は、従来の音声特徴や他の深層学習モデルのベクトルと比較して、感情認識において優れているか？
• RQ5 低リソースまたは非英語音声データセットにおいて、最先端手法と比較して、このモデルはどの程度の性能を示すか？

主な発見

• 提案されたAFF-ACRNNモデルは、MOSIデータセットにおいて最先端手法より9.33%の絶対的な重み付き精度の向上を達成し、69.42%の精度に到達した。
• BiLSTMにアテンション機構を組み込むことで、特徴統合の性能が顕著に向上し、アテンションなしまたは単純な統合戦略を用いたモデルを上回った。
• モデルは強力な一般化性能を示し、限定的な学習データでも中国語のテストセットで68.84%、検証セットで64.08%の精度を達成した。
• SBCNNブランチにResNet152、LSTMブランチにUB-BiLSTMを組み合わせた構成が最良の性能を示し、MOSIでの重み付き精度は69.42%に達した。
• MOUDデータセットでも高い性能を維持したことで、言語の違いに強く、言語固有の依存性が低いことが示された。
• 広範なアブレーションスタディを通じて、メルスペクトログラム、MFCC、クロマ、ゼロクロッシングレートの4つの特徴が、感情分類において最も代表的であることが判明した。