[論文レビュー] GLA in MediaEval 2018 Emotional Impact of Movies Task

Jennifer J. Sun, Ting Liu+1 more|arXiv (Cornell University)|Nov 27, 2019

Generative Adversarial Networks and Image Synthesis参考文献 7被引用数 4

ひとこと要約

本稿では、画像、音声、顔のモダリティからの事前学習済み特徴を用いて、映画における感情の連続的予測を目的としたマルチモーダル深層学習手法を提示する。GRUを用いた時系列モデリングと混合専門家回帰ヘッド、バターワorthフィルタリングを統合した手法は、MediaEval 2018の3つの評価指標で最良の性能を達成し、感情の予測において最小のMSEと最高のPCCを達成した。

ABSTRACT

The visual and audio information from movies can evoke a variety of emotions in viewers. Towards a better understanding of viewer impact, we present our methods for the MediaEval 2018 Emotional Impact of Movies Task to predict the expected valence and arousal continuously in movies. This task, using the LIRIS-ACCEDE dataset, enables researchers to compare different approaches for predicting viewer impact from movies. Our approach leverages image, audio, and face based features computed using pre-trained neural networks. These features were computed over time and modeled using a gated recurrent unit (GRU) based network followed by a mixture of experts model to compute multiclass predictions. We smoothed these predictions using a Butterworth filter for our final result. Our method enabled us to achieve top performance in three evaluation metrics in the MediaEval 2018 task.

研究の動機と目的

• 視覚的、音声的、顔の特徴に基づいて、映画における連続的価値と覚醒度を予測すること。
• トランスファー学習とマルチモーダル統合を用いて、感情予測の性能を向上させること。
• 再帰的シーケンスモデリングを通じて、感情的インパクトの時間的ダイナミクスに対処すること。
• 後処理フィルタリング技術を用いて、予測の滑らかさと正確性を向上させること。
• MediaEval 2018の映画の感情的インパクトタスクにおいて、LIRIS-ACCEDEデータセットで最先端の結果を達成すること。

提案手法

• ImageNetで事前学習されたInceptionネットワークを用いて画像特徴を抽出した（Inception-Image）。
• YouTube-8Mで事前学習されたVGGに類似したモデルであるAudioSetを用いて音声特徴を抽出した（AudioSet）。
• 顔データで訓練されたInceptionベースのモデルを用いて顔特徴を抽出した（Inception-Face）；1フレームあたり最大2つの顔に焦点を当てた。
• モダリティ固有の特徴をラテント統合により統合し、時系列依存性をモデル化するためGRUベースの再帰的ネットワークを処理した。
• 多変量回帰のためのソフトマックスゲーミングネットワークを備えた混合専門家モデルを採用した。
• モデル予測の高周波数フラクチュエーションを平滑化するために、バターワースローパスフィルタを適用した。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの画像、音声、顔の特徴は、ベースライン特徴（例：VGG16 + openSMILE）と比較して、感情的インパクト予測においてどのように差を示すか？
• RQ2 映画の感情的反応の時間的ダイナミクスをモデル化するにあたり、最適なシーケンス長は何か？
• RQ3 再帰的アーキテクチャの選択（GRU対LSTM対TCN）が、連続的感情予測の性能にどのように影響するか？
• RQ4 アンサンブル平均化とバッチ正規化は、予測の頑健性と一般化性能をどの程度向上させるか？
• RQ5 バターワースフィルタを用いた後処理は、相関を損なわせることなく、回帰出力のノイズを効果的に低減できるか？

主な発見

• 本モデルは、すべての提出物の中で、価値（0.0837）の平均二乗誤差（MSE）が最小で、覚醒度（0.3513）のピアソン積率相関係数（PCC）が最高を記録した。
• Inception-Face特徴を組み込むことで性能が顕著に向上した。これは、顔の特徴が感情予測に非常に有益であることを示している。
• GRUベースのモデルはLSTMやTCNを上回り、60秒の入力シーケンスが短いシーケンスよりも優れた結果をもたらした。
• 5回の実行におけるアンサンブル平均化により、最良の単一実行と比較してMSEが30％削減された。これは、分散低減の恩恵が明確に示された。
• 推論時におけるバッチ正規化は、特に覚醒度において予測の分散を増加させた。これは、訓練集合とテスト集合の分布シフトが原因と考えられる。
• バターワースフィルタは、通過域の平坦性を保ちながら、移動平均フィルターよりも優れた性能を示し、より滑らかで正確な予測が得られた。