[論文レビュー] Spatiotemporal Networks for Video Emotion Recognition

Lijie Fan, Yunjie Ke|arXiv (Cornell University)|Apr 3, 2017

Video Surveillance and Tracking Methods被引用数 3

ひとこと要約

本論文は、CNN-LSTMを用いた動画特徴抽出と、従来のSVMを用いたマルチモーダル統合を組み合わせた時空間的ディープラーニングフレームワークを提案し、視覚的および聴覚的モダリティを効果的に統合することで、AFEW 6.0データセットにおける動画感情認識で優れた性能を達成した。

ABSTRACT

Our experiment adapts several popular deep learning methods as well as some traditional methods on the problem of video emotion recognition. In our experiment, we use the CNN-LSTM architecture for visual information extraction and classification and utilize traditional methods such as for audio feature classification. For multimodal fusion, we use the traditional Support Vector Machine. Our experiment yields a good result on the AFEW 6.0 Dataset.

研究の動機と目的

• ディープラーニングと従来の機械学習手法が動画感情認識に与える効果を調査すること。
• 動画シーケンスにおける空間的顔貌特徴と時間的ダイナミクスを両方効果的に捉える時空間アーキテクチャを設計すること。
• 視覚的および聴覚的特徴の統合に、SVMのような従来の手法を用いたマルチモーダル統合を評価すること。
• AFEW 6.0データセット上で性能をベンチマークすること。これは顔の感情認識の標準ベンチマークである。

提案手法

• 視覚モダリティは、動画フレームからの時空間的特徴を抽出するためにCNN-LSTMアーキテクチャを処理する。
• 聴覚的特徴は抽出され、従来の機械学習手法を用いて分類される。
• マルチモーダル統合は、視覚的および聴覚的予測を統合するためにサポートベクターマシン（SVM）を用いて実行される。
• モデルは、多様な顔の表情を含む動画形式のAFEW 6.0データセット上で訓練および評価される。
• ディープラーニングによる特徴学習の強みと、従来の手法による堅牢な統合の強みを活用する。

実験結果

リサーチクエスチョン

• RQ1 CNN-LSTMと従来の手法を組み合わせた場合、動画感情認識においてどの程度の性能を示すか？
• RQ2 SVMベースの統合は、視覚的および聴覚的特徴を効果的に統合し、認識精度を向上させることができるか？
• RQ3 このハイブリッドアプローチは、AFEW 6.0ベンチマークデータセット上でどの程度の性能を示すか？
• RQ4 CNN-LSTMが抽出する時空間的特徴は、感情分類にどのように寄与するか？

主な発見

• 提案されたCNN-LSTMおよびSVMベースの統合モデルは、AFEW 6.0データセットで優れた性能を達成した。
• SVMによる統合により、視覚的および聴覚的モダリティを統合することで、単一モダリティのアプローチよりも認識精度が向上した。
• CNN-LSTMアーキテクチャは、動画シーケンス全体における顔の表情の時間的ダイナミクスを効果的に捉えた。
• ディープラーニング特徴と組み合わせた際、SVMのような従来の手法は、マルチモーダル統合において依然として有効である。