[論文レビュー] Building Emotional Machines: Recognizing Image Emotions through Deep Neural Networks

Hye‐Rin Kim, Yeong-Seok Kim+2 more|arXiv (Cornell University)|May 22, 2017

Image Retrieval and Classification Techniques参考文献 2被引用数 8

ひとこと要約

本論文は、事前学習済み畳み込みニューラルネットワーク（CNN）から抽出した高レベル特徴（物体および背景の意味論）を組み合わせることで、画像から連続的ないくらの感情状態（退屈度と活性度）を予測する深層学習フレームワークを提案している。本研究では、新たに収集したクラウドソーシングによるデータセット上で最先端の性能を達成しており、主な貢献は次元的感情予測（VAモデル）のためのエンド・ツー・エンドの深層ニューラルネットワークを初めて実現したことである。

ABSTRACT

An image is a very effective tool for conveying emotions. Many researchers have investigated in computing the image emotions by using various features extracted from images. In this paper, we focus on two high level features, the object and the background, and assume that the semantic information of images is a good cue for predicting emotion. An object is one of the most important elements that define an image, and we find out through experiments that there is a high correlation between the object and the emotion in images. Even with the same object, there may be slight difference in emotion due to different backgrounds, and we use the semantic information of the background to improve the prediction performance. By combining the different levels of features, we build an emotion based feed forward deep neural network which produces the emotion values of a given image. The output emotion values in our framework are continuous values in the 2-dimensional space (Valence and Arousal), which are more effective than using a few number of emotion categories in describing emotions. Experiments confirm the effectiveness of our network in predicting the emotion of images.

研究の動機と目的

• 物体や背景の高レベル意味的特徴を活用することで、画像感情認識における感情的ギャップを低減すること。
• 離散的な感情カテゴリではなく、連続的な感情状態（退屈度と活性度）を予測する深層学習モデルを構築すること。
• クラウドソーシングを用いて、退屈度-活性度値でアノテートされた、新しい大規模な画像感情データセットを構築すること。
• 事前学習ネットワークからの高レベル意味的特徴と低レベル特徴（色統計）を組み合わせることで、感情予測の入力表現を豊かにすること。
• 物体および背景の意味論が、画像感情の強力な予測因子であることを実証すること。

提案手法

• 事前学習済みImageNetモデル（AlexNetおよびVGG19）を、画像分類および意味セグメンテーションのための微調整を施した後、高レベル意味的特徴（物体および背景）を抽出する。
• 事前学習済みCNNの最終全結合層からの特徴を、感情回帰用の順方向型深層ニューラルネットワーク（FFNN）の入力として使用する。
• 低レベル特徴（色統計）と高レベル意味的特徴を組み合わせることで、感情予測のための入力表現を強化する。
• 平均二乗誤差損失関数を用いて、2次元空間（1〜9スケール）における連続的な退屈度および活性度の値を予測するようにFFNNを訓練する。
• トレーニング中にCNN特徴を微調整することで、感情予測タスクに適した特徴表現を向上させる。
• クラウドソーシングを活用して、10,000枚の画像を含む新規データセットを収集し、トレーニングおよび評価用に退屈度および活性度値をアノテートする。

実験結果

リサーチクエスチョン

• RQ1 低レベル特徴のみと比較して、物体や背景の意味論といった高レベル意味的特徴が、画像感情認識性能を顕著に向上させるか。
• RQ2 順方向型深層ニューラルネットワークが、画像特徴から連続的な退屈度および活性度値を予測する際にどの程度有効であるか。
• RQ3 物体および背景の意味論を組み合わせることで、単独で使用する場合と比較して、感情予測がより良くなるか。
• RQ4 物体認識の品質が、提案フレームワークにおける感情予測の正確性にどの程度影響を与えるか。
• RQ5 事前学習済みCNNを感情予測のための意味的特徴表現の向上に効果的に微調整できるか。

主な発見

• テストセットにおいて、本モデルは退屈度で1.64、活性度で1.47という最小の平均二乗誤差（MSE）を達成し、線形回帰およびサポートベクタ回帰を上回った。
• 微調整済み畳み込み特徴（conv-train）を用いたモデルは、固定特徴（conv-frozen）バージョンよりも優れた性能を示し、エンド・ツー・エンドの適応化の利点を裏付けた。
• 物体の意味論は感情値と強く相関しており、画像内の主要な物体が感情のトーンを強く予測する要因であることが確認された。
• 背景の意味論は、物体が同一であっても感情のニュアンスを区別するのに寄与し、予測精度を向上させた。
• 本モデルは、例えば高・低活性度、高・低退屈度の異なる感情領域において一貫した性能を示し、頑健性を示した。
• 退屈度-活性度アノテーションが付与された新たに収集されたデータセットは、今後の感情コンピューティング研究における貴重なベンチマークとなることが期待される。