[論文レビュー] Addressing Racial Bias in Facial Emotion Recognition

Alex Fan, Xingshuo Xiao+1 more|arXiv (Cornell University)|Aug 9, 2023

Face recognition and analysisComputer Science被引用数 3

ひとこと要約

本研究は、AffectNetおよびCAFEデータセットからのトレーニングデータにおける多様な人種構成をシミュレートすることで、顔の感情認識（FER）における人種的バイアスを調査する。異なる人種割合を有するサブサンプルされたトレーニングセットを用い、人種のバランスが公平性とパフォーマンスを向上させることを発見したが、特に小さなポーズ付きデータセットにおいて顕著であった。一方、より大きな、多様性の高いデータセットではバイアスが完全に解消されず、構成のバランスだけでは、アノテーションやモデル推定誤差といった根本的なバイアス要因に対処できないことが示された。

ABSTRACT

Fairness in deep learning models trained with high-dimensional inputs and subjective labels remains a complex and understudied area. Facial emotion recognition, a domain where datasets are often racially imbalanced, can lead to models that yield disparate outcomes across racial groups. This study focuses on analyzing racial bias by sub-sampling training sets with varied racial distributions and assessing test performance across these simulations. Our findings indicate that smaller datasets with posed faces improve on both fairness and performance metrics as the simulations approach racial balance. Notably, the F1-score increases by $27.2\%$ points, and demographic parity increases by $15.7\%$ points on average across the simulations. However, in larger datasets with greater facial variation, fairness metrics generally remain constant, suggesting that racial balance by itself is insufficient to achieve parity in test performance across different racial groups.

研究の動機と目的

• トレーニングデータにおける人種的構成が、顔の感情認識（FER）モデルの公平性とパフォーマンスに与える影響を調査すること。
• トレーニングデータにおける人種のバランスを達成することで、異なる人種グループ間のFERパフォーマンス格差が緩和されるかどうかを評価すること。
• データ構成を超えた、アノテーションや人種推定誤差のような、持続的なバイアスの原因を同定すること。
• AffectNetやCAFEのような現実世界の高次元で主観的ラベルが付与されたデータセットにおける、構成的バイアス軽減の限界を評価すること。

提案手法

• AffectNetおよびCAFEデータセットから、異なる人種割合を模倣するようにサブサンプルされたトレーニングセットを用意した。
• 各サブサンプルされたデータセットでFERモデルを学習し、正解率、F1スコア、公平性指標（デモグラフィックパリティ、イコールドオッズ）を用いてパフォーマンスを評価した。
• AffectNetおよびCAFEの画像における人種推定を可能にするために、FairFaceモデルを用いて人種を推定した。
• 異なる人種構成を持つシミュレーション間でのモデルパフォーマンスを比較し、特に人種別F1スコアと公平性指標に注目した。
• アノテーションバイアスを分析するため、ラベルラーのデモグラフィック要因とラベル一致率を調査した。特にAffectNetの限定的ラベルラー設定において注目した。
• 将来的なシミュレーションにおいて、正確に推定されない人種グループ（例：中東系、南アジア系）を除外することで、推定誤差を分離することを提案した。

Figure 1: Example of the procedure for simulating East Asian representation in a dataset. This represents a contrived case where East Asian is over-represented in the training set. In actual simulations, $N$ is much larger, with our largest experiment using $N=3500$ .

実験結果

リサーチクエスチョン

• RQ1 トレーニングデータの人種的構成は、FERモデルの人種別F1スコアと公平性指標にどのように影響するか？
• RQ2 トレーニングデータにおいて人種のバランスを達成することで、異なる人種グループ間での公平性とパフォーマンスがどの程度向上するか？
• RQ3 トレーニングデータが人種的にバランスされているにもかかわらず、なぜ公平性指標が最適でないまま残るのか？
• RQ4 アノテーションバイアスと人種推定誤差は、FERモデルにおける格差をどのように持続的に生じさせているか？

主な発見

• 小さなポーズ付きデータセット（CAFE）では、人種のバランスが公平性を向上させた：デモグラフィックパリティは平均で15.7ポイント上昇し、F1スコアは27.2ポイント上昇した。
• より大きな、多様性の高いデータセット（AffectNet）では、人種のバランスをとったにもかかわらず公平性指標の改善は最小限にとどまり、構成のバランスだけでは不十分であることが示された。
• '怒り'の感情に対するF1スコアは、東アジア系の顔が過剰にサンプルされた場合にのみ向上した。これは、データ構成の影響が一様でないことを示唆している。
• FairFaceモデルによる人種推定誤差が顕在化しており、特に中東系および南アジア系の個人において顕著で、シミュレーション結果の歪みを引き起こす可能性がある。
• AffectNetにおけるアノテーションバイアス（限定的かつ多様性に欠けるラベルラー）が、持続的な格差の原因となっている可能性が高く、一致率は中立（50.8%）から喜び（79.6%）まで変動した。
• バランスの取れたトレーニングデータでさえ、イコールドオッズのような公平性指標が一貫して向上しなかった。これは、アルゴリズム的バイアスや特徴レベルのバイアスといった、未特定のバイアス要因が依然として存在することを示唆している。

Figure 2: CAFE racial composition simulations with all test metrics. Each cell shows a varied simulated race with all non-simulated races held constant. CAFE is sampled at the participant level ( $N=5$ ). Every race shows improvement in test performance for the race-specific F1-score and demographic