[論文レビュー] Understanding and Mitigating Annotation Bias in Facial Expression Recognition

Yunliang Chen, Jungseock Joo|arXiv (Cornell University)|Aug 19, 2021

Face recognition and analysis参考文献 15被引用数 11

ひとこと要約

この論文は、顔の表情認識データセットにおける体系的なアノテーションバイアスを明らかにし、特に女性の顔に対して喜びや怒りのラベルが過剰に付けられる傾向があることを示している。また、顔の動き単位（AUs）と三重損失を用いた予測の補正とバイアス低減を目的としたAUC-FERフレームワークを提案している。実験の結果、AUC-FERはベースラインと比較して差別スコアを64–89%まで低減し、既存のデバイアス化手法を上回っている。

ABSTRACT

The performance of a computer vision model depends on the size and quality of its training data. Recent studies have unveiled previously-unknown composition biases in common image datasets which then lead to skewed model outputs, and have proposed methods to mitigate these biases. However, most existing works assume that human-generated annotations can be considered gold-standard and unbiased. In this paper, we reveal that this assumption can be problematic, and that special care should be taken to prevent models from learning such annotation biases. We focus on facial expression recognition and compare the label biases between lab-controlled and in-the-wild datasets. We demonstrate that many expression datasets contain significant annotation biases between genders, especially when it comes to the happy and angry expressions, and that traditional methods cannot fully mitigate such biases in trained models. To remove expression annotation bias, we propose an AU-Calibrated Facial Expression Recognition (AUC-FER) framework that utilizes facial action units (AUs) and incorporates the triplet loss into the objective function. Experimental results suggest that the proposed method is more effective in removing expression annotation bias than existing techniques.

研究の動機と目的

• 人間のアノテーターが、特にイン・ザ・ワイルドなデータセットにおいて、性別に基づいて顔の表情を体系的に誤ってラベル付けするかどうかを調査すること。
• データ構成バイアスとは異なる、アノテーションバイアスが顔の表情認識における不公平なモデル予測を引き起こすことを実証すること。
• 再ラベルやトレーニングデータの変更を必要とせず、体系的なラベルバイアスを是正するデバイアス化フレームワークを開発すること。
• 顔の動き単位（AUs）を客観的な補正信号として用いることで、表情認識モデルの公平性が向上することを示すこと。
• 提案手法の有効性を、異なるアーキテクチャとデータセットサイズの設定で検証すること。

提案手法

• AUC-FERフレームワークは、表情ラベルの主観性を低減するために、顔の動き単位（AUs）を補助的・客観的な信号として学習プロセスをガイドする。
• 同じ表情を持つ画像が、性別やその他の保護属性に関係なく類似した表現を生成するように保証するため、三重損失関数を組み込む。
• 表情分類のための交差エントロピーと、AUsを介した公平性補正のための三重損失を組み合わせた総合損失関数を用いて、エンド・ツー・エンドでモデルを訓練する。
• アーキテクチャに依存しないように設計されており、耐久性の評価のため、ResNet-50とMobileNetV2でテストされている。
• 弱教師付きAUs検出（例：OpenFaceを用いて）を、客観的な顔特徴表現の代理として用い、主観的な表情ラベルを補正する。
• 再ラベルが不要であるため、バイアスのあるアノテーションを含む実世界のデータセットに対しても実用的である。

実験結果

リサーチクエスチョン

• RQ1 イン・ザ・ワイルドな顔の表情認識データセットに、特に男性と女性の顔の間で体系的なアノテーションバイアスが存在するか？
• RQ2 バイアスがデータ構成ではなくラベルに起因する場合、既存のデバイアス化手法がアノテーションバイアスを十分に是正できない程度はどれほどか？
• RQ3 顔の動き単位（AUs）は、顔の表情認識におけるバイアス低減のための信頼できる客観的補正信号として機能するか？
• RQ4 AUC-FERフレームワークは、最先端のデバイアス化技術と比較して、性別に基づく差別的予測をどれほど効果的に低減できるか？
• RQ5 提案手法は、異なるモデルアーキテクチャやトレーニングデータサイズの設定においても一般化可能か？

主な発見

• 研究では、イン・ザ・ワイルドな顔の表情認識データセットにおいて顕著な性別バイアスが判明し、同じ表情強度であっても女性の顔が喜びや怒りとラベル付けされる確率が高くなっている。
• バイアスのあるアノテーションで学習されたベースラインモデルは高い差別スコアを示し、ExpWデータセットにおける『happy』表情のスコアは、ベースラインのResNet-50で0.059 ± 0.035を記録した。
• AUC-FERフレームワークは、ResNet-50で差別スコアを0.006 ± 0.020まで低減し、ベースラインと比較して89%の削減を達成した。
• 8,000件のサンプルを有する小規模なトレーニングセットを用いたMobileNetV2でも、AUC-FERはベースラインと比較して64%の差別スコア低減を達成し、スコアは0.028 ± 0.029となった。
• Uniform Confusion、Gradient Projection、Domain Discriminative/Independentなどの既存のデバイアス化手法と比較して、AUC-FERはすべての評価設定で優れた性能を示した。
• 再ラベルされた完全なデータセットの性能に近く、再ラベルなしでアノテーションバイアスを是正できることを示しており、その有効性が裏付けられている。