[論文レビュー] Gated Recurrent Unit (GRU) for Emotion Classification from Noisy Speech

Rajib Rana|arXiv (Cornell University)|Dec 13, 2016

Speech and Audio Processing被引用数 94

ひとこと要約

本稿では、騒音環境下における音声感情分類にゲート付き再帰ユニット（GRU）を用いることの有効性を調査しており、GRUは長短時系列メモリ（LSTM）ネットワークと同等の精度を達成すると同時に、実行時間を18.16%短縮することを示しており、スマートフォンのようなリソース制約のあるデバイスへのリアルタイムデプロイに非常に適している。

ABSTRACT

Despite the enormous interest in emotion classification from speech, the impact of noise on emotion classification is not well understood. This is important because, due to the tremendous advancement of the smartphone technology, it can be a powerful medium for speech emotion recognition in the outside laboratory natural environment, which is likely to incorporate background noise in the speech. We capitalize on the current breakthrough of Recurrent Neural Network (RNN) and seek to investigate its performance for emotion classification from noisy speech. We particularly focus on the recently proposed Gated Recurrent Unit (GRU), which is yet to be explored for emotion recognition from speech. Experiments conducted with speech compounded with eight different types of noises reveal that GRU incurs an 18.16% smaller run-time while performing quite comparably to the Long Short-Term Memory (LSTM), which is the most popular Recurrent Neural Network proposed to date. This result is promising for any embedded platform in general and will initiate further studies to utilize GRU to its full potential for emotion recognition on smartphones.

研究の動機と目的

• 騒音のある音声からの感情分類におけるゲート付き再帰ユニット（GRU）のパフォーマンスを評価すること。これは、先行研究が主にクリアな音声に焦点を当てていた分野である。
• 実世界の音声感情認識、特にモバイルおよび埋め込み環境における背景ノイズの課題に対処すること。
• さまざまな実生活のノイズ条件下で、GRUの正確性と計算効率を広く使われているLSTMアーキテクチャと比較すること。
• バッテリー駆動の埋め込みプラットフォーム（スマートフォンなど）へのデプロイを想定した場合、GRUのノイズ耐性と一般化性能を評価すること。

提案手法

• 著者たちは、長距離の時系列依存性を捉えるためにゲーティング機構を活用するGRUベースのディープラーニングモデルを用いて、音声シーケンスからの感情分類を実施している。
• ノイズのある音声データは、カフェ、川、交通、洗濯機などの8種類の実際のノイズをクリアな音声サンプルに重ね合わせることで合成されている。
• モデルは標準的な交差エントロピー損失とソフトマックス出力で訓練および評価され、パフォーマンスは分類精度と実行時間で測定されている。
• 実行時間は、2 GHz の Intel Core i7 マックブック（8 GB RAM）を用い、5回の実行における中央値を用いてばらつきを低減して測定された。
• LSTMは、精度と計算効率の比較のためのベンチマークモデルとして用いられており、同じハイパーパramータ（例：学習率 = 1、バイアス = False、1層のセル）が使用されている。
• 本研究では、すべてのノイズタイプとクリアな状態の下でパフォーマンスを評価し、精度と実行時間のトレードオフを分析している。

実験結果

リサーチクエスチョン

• RQ1 GRUは、系列モデル分野の現在の標準とされるLSTMと比較して、騒音のある音声からの感情分類においてどのように性能を発揮するか？
• RQ2 カフェ、川、洗濯機などの異なる実世界のノイズタイプ（例）が、GRUの分類精度にどのような影響を与えるか？
• RQ3 同じトレーニングおよび推論条件下で、GRUの実行時間はLSTMと比べてどの程度か？
• RQ4 GRUはクリアデータモデルよりもノイズに対してより頑健であると見なせるか？また、ノイズ環境下での一般化性能に優れているか？
• RQ5 GRUは顕著に低い計算コストで競争力のある精度を達成できるか？その結果、リアルタイムのモバイルデプロイに実現可能であるか？

主な発見

• GRUは、ほとんどのノイズ条件下でLSTMと同等の分類精度を達成しており、最悪ケースでも1.75%以内の差にとどまっている。
• 洗濯機ノイズの場合は、GRUがLSTMを1.75%上回る精度を示しており、周期的で非連続なノイズをより効果的に処理できることを示唆している。
• 川とカフェのノイズの場合は、それぞれLSTMがGRUを6.4%および4.6%上回る精度を示しており、GRUが連続的で複雑なノイズに対しては限界があることが示されている。
• 同じハードウェア上での実行時間において、GRUはLSTMに比べて18.16%少ない時間を要しており、計算効率に顕著な優位性を示している。
• 全体としてGRUはノイズに対して頑健であり、複合ノイズ条件下での誤差率がクリアな状態よりも低かった。これはノイズが正則化効果をもたらしている可能性を示唆している。
• 結果から、GRUは精度と実行時間のトレードオフが良好であるため、モバイルプラットフォームにおけるリアルタイム感情認識の強力な候補であると示唆されている。