[論文レビュー] Suppressing Uncertainties for Large-Scale Facial Expression Recognition

Kai Wang, Xiaojiang Peng+3 more|arXiv (Cornell University)|Feb 24, 2020

Emotion and Mood Recognition参考文献 41被引用数 53

ひとこと要約

Introduces Self-Cure Network (SCN) to suppress uncertainties in large-scale FER using self-attention weighting, rank regularization, and relabeling; achieves state-of-the-art on RAF-DB, AffectNet, and FERPlus.

ABSTRACT

Annotating a qualitative large-scale facial expression dataset is extremely difficult due to the uncertainties caused by ambiguous facial expressions, low-quality facial images, and the subjectiveness of annotators. These uncertainties lead to a key challenge of large-scale Facial Expression Recognition (FER) in deep learning era. To address this problem, this paper proposes a simple yet efficient Self-Cure Network (SCN) which suppresses the uncertainties efficiently and prevents deep networks from over-fitting uncertain facial images. Specifically, SCN suppresses the uncertainty from two different aspects: 1) a self-attention mechanism over mini-batch to weight each training sample with a ranking regularization, and 2) a careful relabeling mechanism to modify the labels of these samples in the lowest-ranked group. Experiments on synthetic FER datasets and our collected WebEmotion dataset validate the effectiveness of our method. Results on public benchmarks demonstrate that our SCN outperforms current state-of-the-art methods with extbf{88.14}\% on RAF-DB, extbf{60.23}\% on AffectNet, and extbf{89.35}\% on FERPlus. The code will be available at \href{https://github.com/kaiwang960112/Self-Cure-Network}{https://github.com/kaiwang960112/Self-Cure-Network}.

研究の動機と目的

• 大規模 FER における曖昧な表情、低品質画像、およびアノテータ主観性によって生じる不確実性を動機づけ、解決する。
• 深層 FER モデルの訓練中に不確実性を抑制するためのシンプルで効果的なフレームワーク（SCN）を提案する。
• 不確実なサンプルの影響を減らすための自己注意重み付け、ランク正則化、リラベリングの3つのモジュールを設計する。
• SCN の有効性を合成ノイズデータ、実世界の不確実な WebEmotion データセット、および公開 FER ベンチマークで実証する。
• 各モジュールと損失成分の寄与を定量化するアブレーション研究を提供する。

提案手法

• バックボーン CNN で顔特徴を抽出し、各サンプルの重要度ウェイトを割り当てる自己注意重要度付けモジュールを適用する。
• サンプルウェイトを用いて信頼性の高いサンプルを強調する logit-weighted cross-entropy loss (WCE-Loss) を計算する。
• 学習したウェイトを Rank Regularization loss (RR-Loss) でランク付けすることにより正則化し、ウェイトを高/低のグループに分け、それらの平均のマージンを強制する。
• 不確実性の高い低重要度グループのサンプルを、最大予測確率を与えられたラベル確率と閾値マージン(delta2)で比較して任意にリラベルする。
• RR-Loss と WCE-Loss の組み合わせでエンドツーエンド訓練する；エポック10後にリラベリングを含む2段階戦略を使用する。
• 実装の詳細: ResNet-18 backbone、MTCNN for face detection、batch size 1024、beta=0.7 as the high-importance group ratio、delta1=0.15、delta2=0.2。

実験結果

リサーチクエスチョン

• RQ1 大規模 FER における不確実なアノテーションをどのように訓練で緩和できるか？
• RQ2 軽量でエンドツーエンドのモジュール（SCN）は追加推論コストなしにノイズの多いラベルと低品質データへのロバスト性を向上させることができるか？
• RQ3 自己注意重み付け、ランク正則化、リラベリングのどの構成要素が不確実性下での FER 性能に相対的に貢献するか？
• RQ4 ノイズのある現実データ（WebEmotion）での事前学習と SCN の事前学習は、クリーンな FER ベンチマークでの性能を向上させるか？
• RQ5 SCN コンポーネントは合成ラベルノイズと現実世界の不確実なアノテーションの下でどのように機能するか？

主な発見

• SCN は RAF-DB、FERPlus、AffectNet における合成ラベルノイズ下でベースラインを一貫して改善し、ノイズレベルが高まるほど大きな性能向上を示す。
• 自己注意重み付け（WCE-Loss）は SCN コンポーネントの中で最も強い性能向上を提供する。
• Rank Regularization（RR-Loss）と Relabeling は WCE-Loss の上でアブレーション時に追加の利得を提供する。
• WebEmotion での事前学習と SCN は、ターゲットデータセットでファインチューニング後に RAF-DB、AffectNet、FERPlus の性能をさらに向上させる。
• SCN は state-of-the-art の結果を達成：88.14% on RAF-DB、60.23% on AffectNet、そして FERPlus (with IR50) で 89.35%。
• WebEmotion での SCN 対応の事前学習は、SCN なしの事前学習より下流性能が高い。