[論文レビュー] Training Deep Networks for Facial Expression Recognition with Crowd-Sourced Label Distribution

Emad Barsoum, Cha Zhang+2 more|arXiv (Cornell University)|Aug 3, 2016

Emotion and Mood Recognition参考文献 29被引用数 11

ひとこと要約

本論文では、単一の過半数投票ではなく、クラウドソーシングによるラベル分布を用いて、深層畳み込みニューラルネットワーク（DCNN）の訓練を提案する。複数のノイズの多いラベルを確率的ラベル抽出（PLD）と交差エントロピー損失（CEL）を通じて活用することで、過半数投票よりも1%以上も高い精度を達成し、ラベルの不確実性をモデル化することで、ノイズの多いクラウドソーシングデータに対する耐性が向上することを示している。

ABSTRACT

Crowd sourcing has become a widely adopted scheme to collect ground truth labels. However, it is a well-known problem that these labels can be very noisy. In this paper, we demonstrate how to learn a deep convolutional neural network (DCNN) from noisy labels, using facial expression recognition as an example. More specifically, we have 10 taggers to label each input image, and compare four different approaches to utilizing the multiple labels: majority voting, multi-label learning, probabilistic label drawing, and cross-entropy loss. We show that the traditional majority voting scheme does not perform as well as the last two approaches that fully leverage the label distribution. An enhanced FER+ data set with multiple labels for each face image will also be shared with the research community.

研究の動機と目的

• 複数のアノテーターからのラベル分布を活用することで、顔の感情認識におけるノイズが多く、主観的なクラウドソーシングラベルの課題に対処する。
• 感情アノテーションの不確実性をモデル化することで、従来の過半数投票を上回る分類性能を向上させる。
• 1画像あたり10個のクラウドソーシングラベルを含む、拡張されたFER+データセットを構築・公開し、今後のノイズラベル学習研究を支援する。
• 過半数投票（MV）、マルチラベル学習（ML）、確率的ラベル抽出（PLD）、交差エントロピー損失（CEL）の4つの訓練方式を、深層ネットワーク上で評価・比較する。
• ラベル分布を完全に活用することで、実世界の顔の感情認識タスクにおける一般化性能と精度が向上することを示す。

提案手法

• 非専門家アノテーターから1画像あたり10個の感情ラベルを収集し、各サンプルごとにラベル分布を形成する。
• 外れ値の除外と正規化を施し、各画像に対して有効な確率分布 $ p_k^i $ を作成する。
• 確率的ラベル抽出（PLD）を適用：各エポックにおいて、分布 $ p_k^i $ から1つの感情ラベルをサンプリングし、標準的な交差エントロピー損失を適用する。
• 交差エントロピー損失（CEL）を直接ラベル分布に適用：$ \mathcal{L} = -\sum_{k=1}^{8} p_k^i \log q_k^i $、ここで $ q_k^i $ はネットワークの予測確率である。
• 5つの異なるランダムシードを用いて、4つの方式（MV、ML、PLD、CEL）すべてにカスタムVGG13ネットワークを訓練し、統計的妥当性を確保する。
• 評価には過半数の感情を正例として用い、全方式のテスト精度を比較する。

実験結果

リサーチクエスチョン

• RQ1 クラウドソーシングによる感情ラベルの完全な分布をモデル化することで、過半数投票と比較して顔の感情認識精度が向上するか？
• RQ2 マルチラベル学習、確率的サンプリング、および直接的な分布フィッティングといった、ラベル分布の取り扱い方の違いがDCNN性能に与える影響は何か？
• RQ3 ラベル分布の使用は、顔の感情認識におけるノイズが多く、主観的なアノテーションの影響を軽減するか？
• RQ4 テスト精度の観点から、確率的ラベル抽出とラベル分布への直接的な交差エントロピー損失の相対的性能はどのようになるか？
• RQ5 マルチラベル学習は理論的に複数のラベルを扱えるのに、なぜ性能が低かったのか？

主な発見

• 確率的ラベル抽出（PLD）と交差エントロピー損失（CEL）の両手法が最高のテスト精度を達成し、それぞれ84.986% ± 0.366% および 84.716% ± 0.239% を記録した。
• PLDとCELの両者とも、過半数投票（MV）を1%以上上回り、t値が約3.1であったため、99–99.5%の信頼水準で統計的に有意であることが示された。
• マルチラベル学習（ML）は想定よりも悪く、83.966% ± 0.362% の精度に留まり、訓練と評価のプロトコルの不一致が原因である可能性がある。
• PLDとCELの性能差は標準偏差の範囲内にあり、同等の有効性を示したが、PLDはDisturbLabel手法に類似している可能性からわずかに優位であった。
• モデルは『嫌悪』と『軽蔑』のラベルに対して特に苦戦し、FER+学習セットにおけるサンプル数が少ないことが要因で、データの不均衡が主な制限要因であることが浮き彫りになった。
• 1画像あたり10ラベル、外れ値を除外した分布を含むFER+データセットは、ノイズラベル学習の今後の研究を支援する目的で公開された。