[論文レビュー] Dive into Ambiguity: Latent Distribution Mining and Pairwise Uncertainty Estimation for Facial Expression Recognition

Jiahui She, Yibo Hu+4 more|arXiv (Cornell University)|Apr 1, 2021

Face and Expression Recognition参考文献 49被引用数 13

ひとこと要約

本稿では、顔の感情認識の分野において、潜在的分布のマイニングとペairワイズの不確実性推定を用いてアノテーションの曖昧さに対処する、エンド・ツー・エンドの新規フレームワークDMUEを提案する。インスタンス間の関係性を用いて動的にラベル分布を学習し、サンプルレベルの不確実性を推定することで、推論コストを増加させることなく、SOTA性能を達成した—RAF-DBでは89.42%、AffectNetでは63.11%を記録した。

ABSTRACT

Due to the subjective annotation and the inherent interclass similarity of facial expressions, one of key challenges in Facial Expression Recognition (FER) is the annotation ambiguity. In this paper, we proposes a solution, named DMUE, to address the problem of annotation ambiguity from two perspectives: the latent Distribution Mining and the pairwise Uncertainty Estimation. For the former, an auxiliary multi-branch learning framework is introduced to better mine and describe the latent distribution in the label space. For the latter, the pairwise relationship of semantic feature between instances are fully exploited to estimate the ambiguity extent in the instance space. The proposed method is independent to the backbone architectures, and brings no extra burden for inference. The experiments are conducted on the popular real-world benchmarks and the synthetic noisy datasets. Either way, the proposed DMUE stably achieves leading performance.

研究の動機と目的

• 主観的なラベリングとクラス間の類似性に起因する、顔の感情認識におけるアノテーションの曖昧さという、長年の課題に取り組むこと。
• 曖昧な視覚的特徴をよりよく反映する潜在的ラベル分布をマイニングすることで、モデルのロバスト性を向上させること。
• サンプル間のペアワイズの意味的関係を用いて、インスタンスレベルでの不確実性を推定すること。
• mined distribution と元のアノテーションとの間で、推論コストを増加させることなく、動的に学習の焦点を調整できること。
• 実世界および合成されたノイズのあるベンチマークにおいて、最先端の性能を達成すること。

提案手法

• ラベル空間内で反復的に潜在的ラベル分布をマイニング・精錬するための補助的マルチブランチ学習フレームワークを導入する。
• サンプル間の意味的特徴関係を活用して曖昧さを定量化する、ペアワイズ不確実性推定モジュールを採用する。
• 特徴ベクトルとクラス重心との間の角度統計から導出される信頼度スコアを用いて、不確実性を推定する。
• 推定された不確実性に基づいて、元のアノテーションとマイニングされた分布の両方の損失を重み付けし、動的に訓練損失を調整する。
• バックボーンに依存しないフレームワークを設計し、推論時においてすべての補助的コンponentsを削除することで、追加の計算コストを一切発生させない。
• 人間のアノテーターからの正規化された投票メカニズムを用いて、マイニングされた分布が人間の認識と整合しているかを検証する。

Figure 1 : User study results by 50 volunteers on two randomly picked images. The red (purple) bar represents the most (secondary) possible class given by the volunteers. The results provide insights that the annotations may be inconsistent among the users.

実験結果

リサーチクエスチョン

• RQ1 曖昧な顔の感情データから、エンド・ツー・エンドでトレーニング可能な形で、どのようにして潜在的ラベル分布を効果的にマイニングできるか？
• RQ2 サンプル間のペアワイズ関係は、顔の感情認識における不確実性推定をどの程度向上させられるか？
• RQ3 インスタンス間の関係性に基づく不確実性推定は、曖昧でノイズの多いデータに対するモデルの一般化性能を向上させられるか？
• RQ4 本手法は、既存のアプローチと比較して、現実世界および合成されたノイズのあるデータセットをどのように処理しているか？
• RQ5 本フレームワークは、異なるデータ分布およびバッチ設定において、性能の安定性と一貫性を維持しているか？

主な発見

• DMUEは、RAF-DBベンチマークで89.42%という新たなSOTA精度を達成し、先行手法を上回った。
• AffectNetデータセットでは、63.11%の精度を達成し、このベンチマークで新たな記録を樹立した。
• 50名の参加者によるユーザースタディを通じて、マイニングされた潜在的分布が人間の主観的認識とよく一致していることが検証された。
• 不確実性推定モジュールは、バッチ間で一貫した信頼度スコアを生成しており、同じラベルを持つアンカーサンプルに対して安定した予測が示された。
• フレームワークは、曖昧なサンプルが及える悪影響を効果的に抑制し、推論コストを増加させることなく、モデルのロバスト性を向上させた。
• 可視化結果から、低い不確実性スコアは人間のボランティアがより曖昧と判断した画像に対応していることが確認された。

Figure 2 : Overview of the DMUE. $\bm{y}$ denotes the set of annotations of images in a batch. $\bm{\widetilde{y}}$ denotes the set of mined latent distributions of images in a batch.