[論文レビュー] Towards Fair Affective Robotics: Continual Learning for Mitigating Bias in Facial Expression and Action Unit Recognition

Özgür Kara, Nikhil Churamani+1 more|arXiv (Cornell University)|Mar 15, 2021

Domain Adaptation and Few-Shot Learning参考文献 45被引用数 6

ひとこと要約

本稿では、顔の感情認識およびアクションユニット認識における人口統計的バイアスを軽減するため、継続的学習（CL）を新しい戦略として提案している。RAF-DBおよびBP4Dベンチマークにおいて、CLに基づく手法が従来のバイアス軽減技術を上回ることを示しており、NRおよびEWCの変種が公平性スコアを最も高く維持しながら高い精度を達成している。

ABSTRACT

As affective robots become integral in human life, these agents must be able to fairly evaluate human affective expressions without discriminating against specific demographic groups. Identifying bias in Machine Learning (ML) systems as a critical problem, different approaches have been proposed to mitigate such biases in the models both at data and algorithmic levels. In this work, we propose Continual Learning (CL) as an effective strategy to enhance fairness in Facial Expression Recognition (FER) systems, guarding against biases arising from imbalances in data distributions. We compare different state-of-the-art bias mitigation approaches with CL-based strategies for fairness on expression recognition and Action Unit (AU) detection tasks using popular benchmarks for each; RAF-DB and BP4D. Our experiments show that CL-based methods, on average, outperform popular bias mitigation techniques, strengthening the need for further investigation into CL for the development of fairer FER algorithms.

研究の動機と目的

• トレーニングデータにおける人口統計的偏りが原因で生じる顔の感情認識（FER）およびアクションユニット（AU）検出における公平性の問題を解決すること。
• 継続的学習（CL）が感情ロボティクスにおける効果的なバイアス軽減戦略として機能するかどうかを調査すること。
• 標準ベンチマーク上で、CLベースのアプローチと最先端の非CLバイアス軽減技術を比較すること。
• 性別および人種のスプリットにおける精度と公平性のトレードオフを評価すること。
• CLベースのFERシステムを長期的でインクリメンタルな人間-ロボットインタラクション（HRI）に導入可能かどうかを検討すること。

提案手法

• 著者は、Elastic Weight Consolidation（EWC）、Synaptic Intelligence（SI）、Memory Aware Synapses（MAS）、およびNaive Rehearsal（NR）の複数のCLフレームワークを実装・比較した。
• RAF-DBおよびBP4Dデータセットを用いて、性別および人種に基づくドメインインクリメンタル学習（Domain-IL）設定のもとで、FERおよびAU検出タスクにこれらのCL手法を適用した。
• CLモデルは、異なる人口統計的グループに対して逐次的に訓練され、災難的忘却を防ぐために正則化またはリハーサル機構が用いられた。
• 比較のため、ベースラインモデルおよび非CLバイアス軽減手法（例：DDC、DIC、DA、SS）を用い、損失重み付けやドメイン分離戦略を含めた。
• 公平性は、スプリットごとに評価され、各人口統計的グループ（例：性別、人種）のメトリクスが計算され、ドメイン全体にわたって平均化された。
• データ拡張ありおよびなしの両方の設定で実験を行い、ロバストネスおよび一般化性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 継続的学習は、人口統計的グループにわたって顔の感情認識およびアクションユニット検出におけるバイアスを効果的に軽減できるか？
• RQ2 CLベースの手法の公平性パフォーマンスは、最先端の非CLバイアス軽減技術と比べてどうか？
• RQ3 異なるCL戦略を用いる際、精度と公平性のトレードオフはどのように変化するか？
• RQ4 正則化ベースのCL手法とリハーサルベースの手法（例：NR）は、公平性および精度の観点でどのように比較できるか？
• RQ5 CLベースのモデルは、現実のHRIにおける長期的かつインクリメンタルな学習シナリオでも性能を維持できるか？

主な発見

• NR（Naive Rehearsal）手法は、RAF-DBおよびBP4Dの両方で最高の公平性スコアを達成したが、高メモリ使用量を伴った。
• EWCおよびEWC-Onlineは強力な公平性パフォーマンスを示し、EWC-Onlineは性別スプリット（0.994）および人種スプリット（0.957）で2番目の高い公平性スコアを記録した。
• DA（分離アプローチ）手法は一貫して高い公平性スコアを達成し、ほとんどのカテゴリーで2番目に良く、特に人種スプリット（0.962）で顕著だった。
• 非CLバイアス軽減手法（例：DDC、DIC）は高い公平性を達成したが、CL手法に比べて精度が低く、公平性とパフォーマンスのトレードオフが顕著に現れた。
• CLベースの手法、特にEWCおよびNRは、性別および人種スプリットの両方で非CL手法を上回る公平性を示し、データ分布の不均衡に対処する上で優位性を示した。
• 結果から、CLベースのアプローチは、従来のデータレベルまたはアルゴリズムレベルのバイアス軽減技術よりも、人口統計的グループ間での学習のバランスをより効果的に実現できることを示している。