[論文レビュー] Characterizing Types of Convolution in Deep Convolutional Recurrent Neural Networks for Robust Speech Emotion Recognition

Che-Wei Huang, Shrikanth Narayanan|arXiv (Cornell University)|Jun 7, 2017

Speech Recognition and Synthesis参考文献 48被引用数 25

ひとこと要約

本稿は、音声感情認識のための深層畳み込み再帰ニューラルネットワークにおいて、スペクトルのみ、時間のみ、スペクトル-時間、およびフルスペクトル時間の4種類の畳み込み演算を調査する。フルスペクトル時間畳み込み（FST-Conv）が、ノイズありおよびノイズなしの両条件において最も頑健な性能を示し、話者や性別の差異といった不要な変動を抑制しながら感情情報を保持できるため、他のタイプを上回ることを示している。

ABSTRACT

Deep convolutional neural networks are being actively investigated in a wide range of speech and audio processing applications including speech recognition, audio event detection and computational paralinguistics, owing to their ability to reduce factors of variations, for learning from speech. However, studies have suggested to favor a certain type of convolutional operations when building a deep convolutional neural network for speech applications although there has been promising results using different types of convolutional operations. In this work, we study four types of convolutional operations on different input features for speech emotion recognition under noisy and clean conditions in order to derive a comprehensive understanding. Since affective behavioral information has been shown to reflect temporally varying of mental state and convolutional operation are applied locally in time, all deep neural networks share a deep recurrent sub-network architecture for further temporal modeling. We present detailed quantitative module-wise performance analysis to gain insights into information flows within the proposed architectures. In particular, we demonstrate the interplay of affective information and the other irrelevant information during the progression from one module to another. Finally we show that all of our deep neural networks provide state-of-the-art performance on the eNTERFACE'05 corpus.

研究の動機と目的

• ノイズありおよびノイズなしの条件下で、異なる畳み込みタイプが音声感情認識性能に与える影響を体系的に評価すること。
• 各畳み込みタイプが表現学習中に不要な変動（例：話者、性別、ノイズ）をどのように処理するかを理解すること。
• 双方向LSTMによる時間的モデリングが、音声信号からの感情情報抽出をどのように向上させるかを分析すること。
• SVMを用いた分析により、個々のネットワークモジュール（CNN、BLSTM、MLP）が判別力に寄与する程度を定量化すること。
• ネットワークの深さに沿った内部情報フローおよび感情的要因と非感情的要因の分離に関する洞察を提供すること。

提案手法

• すべてのモデルで共有された双方向LSTM（BLSTM）層を用いた、時間的モデリングのための深層畳み込み再帰ニューラルネットワーク（DC-RNN）アーキテクチャを提案する。
• 入力特徴（例：log-MelスペクトログラムやMFCC）に、スペクトルのみ（S-Conv）、時間のみ（T-Conv）、スペクトル-時間（ST-Conv）、フルスペクトル時間（FST-Conv）の4種類の異なる畳み込みタイプを適用する。
• バックプロパゲーションを用いてエンドツーエンドでモデルを訓練し、特徴学習と感情分類を同時に最適化する。
• 各段階での判別力の程度を定量的に評価するために、モジュールごとのSVM分類を活性化値に対して実施する。
• 活性化分析を用いて、ネットワーク層に沿った感情、話者、性別の情報の進化を可視化する。
• log-MelsとMFCCの比較によるアブレーションスタディを実施し、特徴表現と変換（例：DCT）が性能に与える影響を隔離する。

実験結果

リサーチクエスチョン

• RQ1 スペクトル、時間、スペクトル-時間、フルスペクトル時間の異なる畳み込みタイプは、ノイズありおよびノイズなしの条件下で音声感情認識性能にどのように影響を与えるか？
• RQ2 どの畳み込みタイプがノイズに対して最も頑健であり、その背後にある理由は何か？
• RQ3 CNN、BLSTM、MLPモジュールは、ネットワーク内の感情表現の精錬にどの程度寄与しているか？
• RQ4 話者や性別などの不要な要因は、ネットワークの深さに沿ってどのように進化し、抑制されていくか？
• RQ5 DCTに基づくMFCC表現は、広く使用されているにもかかわらず、特定のアーキテクチャではlog-Mel特徴よりも性能が劣る理由は何か？

主な発見

• フルスペクトル時間畳み込み（FST-Conv）は、ノイズありおよびノイズなしの両条件において、他のすべての畳み込みタイプを上回り、eNTERFACE’05コーパスにおいて最先端の性能を達成した。
• スペクトルのみ畳み込み（S-Conv）はノイズに対して最も感受性が高く、スペクトル情報が不十分でノイズ耐性が低いことが性能低下の原因である。
• CNNモジュールが判別力の向上に最も大きな寄与（27.43% ± 5.18%）、次にBLSTMモジュール（35.63% ± 3.61%）、MLPモジュールが小さいが有意義な寄与（2.85% ± 2.32%）を示した。
• 話者や性別といった不要な要因の情報は、ネットワーク全体で段階的に抑制されており、MLPモジュールがその変動を著しく低減していることから、感情的コンテンツの有効な分離が行われていることが示された。
• S-CLDNN（log-Mels）とLDNN（MFCCs）の性能差は、主にDCTが感情的情報を保持し、話者・性別変動からそれを分離する能力に制限があることに起因する。
• 時間的畳み込みと双方向LSTMの再帰性は補完的な利点をもたらし、その組み合わせが最も頑健なモデル（FST-CLDNN）を生み出した。これは、ノイズ環境下での共同スペクトル-時間モデリングの重要性を強調している。