[論文レビュー] Mitigate Bias in Face Recognition using Skewness-Aware Reinforcement Learning

Mei Wang, Weihong Deng|arXiv (Cornell University)|Nov 25, 2019

Face recognition and analysis参考文献 45被引用数 36

ひとこと要約

本論文は、非白人人種の適応マージンを学習して顔認識のバイアスを緩和する強化学習フレームワークRL-RBNを提案し、公平性検討のための人種感知データセットを公開する。

ABSTRACT

Racial equality is an important theme of international human rights law, but it has been largely obscured when the overall face recognition accuracy is pursued blindly. More facts indicate racial bias indeed degrades the fairness of recognition system and the error rates on non-Caucasians are usually much higher than Caucasians. To encourage fairness, we introduce the idea of adaptive margin to learn balanced performance for different races based on large margin losses. A reinforcement learning based race balance network (RL-RBN) is proposed. We formulate the process of finding the optimal margins for non-Caucasians as a Markov decision process and employ deep Q-learning to learn policies for an agent to select appropriate margin by approximating the Q-value function. Guided by the agent, the skewness of feature scatter between races can be reduced. Besides, we provide two ethnicity aware training datasets, called BUPT-Globalface and BUPT-Balancedface dataset, which can be utilized to study racial bias from both data and algorithm aspects. Extensive experiments on RFW database show that RL-RBN successfully mitigates racial bias and learns more balanced performance for different races.

研究の動機と目的

• 顔認識の公平性を促進するため、バランスの取れたデータと高い精度にも現れる人種バイアスに対処する。
• 人種間でのクラス内外の特徴分離を均衡させる適応マージン学習フレームワークを提案する。
• 強化学習が人種固有のマージンを最適化して人種間の歪みを低減する方法を調査する。
• FRシステムにおけるデータおよびアルゴリズムのバイアスを研究するための人種感知型のトレーニングデータセットを提供する。

提案手法

• 人種バイアスをマルコフ決定過程としてモデル化し、深層Q学習を用いて人種ごとの適応マージンを学習する。
• Caucasians は固定マージンを維持し、非白人のマージンは方針に基づく (α_j(t)) で定義される適応マージン損失を定義する。
• DQN を訓練するための状態-遷移-報酬のタプルをオフラインサンプリング段階で収集する。
• 状態 s を人種グループ G、現在のマージン M、クラス間の歪み B_inter の組合せとして定義する。行動はマージンを変更し、報酬はクラス内歪み B_intra とクラス間歪み B_inter をペナルティ化する。
• 学習された適応マージン方針の指針の下で、人種間の均衡した性能を達成するよう認識ネットワークを訓練する。
• 2つの人種感知データセット (BUPT-Globalface と BUPT-Balancedface) を導入し、RFW ベンチマークで評価する。

実験結果

リサーチクエスチョン

• RQ1 強化学習によって学習された適応的な人種別マージンは、顔認識における跨人種の性能偏りを低減できるか？
• RQ2 DQN に歪みベースの報酬を組み込むと、人種間でクラス内外の分離のバランスが向上するか？
• RQ3 人種感知型トレーニングデータセットは、FRシステムにおけるデータとアルゴリズムによるバイアスの診断と緩和に役立つか？
• RQ4 人種間の公平性指標において、RL-RBNは固定マージン手法（Softmax、Cosface、ArcFace）とどう比較されるか？

主な発見

• RL-RBNおよびそのバリアントは、ベースラインのマージンと比較して、公平性指標を大幅に向上させる（STDとSERが低下）。
• RFWでは、RL-RBN(soft) が STD 0.66、SER 1.17 を達成し、同様の設定下で Norm-Softmax は STD 2.64、SER 1.53。
• バランスの取れた訓練データで、RL-RBN(Cos/Arc) は、固定マージンの counterparts と比較して、最大でバランスの取れた平均精度とクラス間歪みの低減を達成。
• BUPT-Globalface では、RL-RBN(soft) は Avg 94.45、STD 0.44、SER 1.20 を達成し、Softmax (STD 2.48、SER 1.78) および他のベースラインを上回る。
• BUPT-Balancedface では、RL-RBN(Cos/Arc) が Avg 約95.0 に達し、固定マージン手法より顕著に低い STD/SER を示す。
• 適応マージンは、難易度の高いグループ（アジア人、アフリカ系）により大きなマージンを、容易なグループにはより小さなマージンを割り当てる傾向があることが、学習したポリシーに基づいて観察される。