[論文レビュー] An Examination of Fairness of AI Models for Deepfake Detection

Loc Trinh, Yan Liu|arXiv (Cornell University)|May 2, 2021

Face recognition and analysis参考文献 26被引用数 6

ひとこと要約

本研究は、人種および性別に関するバイアスを分析することで、深フェイク検出AIモデルにおける公平性を調査する。FaceForensics++のような広く使われているデータセットは、白人女性に著しく偏っており、深フェイク生成手法は『不規則な』スワップを生成し、検出器が偽物と特定の人種的特徴を関連付けるように訓練する。その結果、特にアジア系女性において最大10.7%の誤差率上昇が生じる。

ABSTRACT

Recent studies have demonstrated that deep learning models can discriminate based on protected classes like race and gender. In this work, we evaluate bias present in deepfake datasets and detection models across protected subgroups. Using facial datasets balanced by race and gender, we examine three popular deepfake detectors and find large disparities in predictive performances across races, with up to 10.7% difference in error rate between subgroups. A closer look reveals that the widely used FaceForensics++ dataset is overwhelmingly composed of Caucasian subjects, with the majority being female Caucasians. Our investigation of the racial distribution of deepfakes reveals that the methods used to create deepfakes as positive training signals tend to produce "irregular" faces - when a person's face is swapped onto another person of a different race or gender. This causes detectors to learn spurious correlations between the foreground faces and fakeness. Moreover, when detectors are trained with the Blended Image (BI) dataset from Face X-Rays, we find that those detectors develop systematic discrimination towards certain racial subgroups, primarily female Asians.

研究の動機と目的

• 人種や性別といった保護属性を考慮した深フェイク検出モデルの公平性を調査すること。
• FaceForensics++ や Blended Images のような広く使われている深フェイクデータセットにおける表現バイアスを分析すること。
• データ生成手法が顔の特徴と偽物性の間の誤った相関関係を生み出す仕組みを調査すること。
• 交差的人種的および性別のサブグループにおける深フェイク検出器の予測性能の差を評価すること。
• 合成メディア向けAIシステムにおいて、より代表的なデータと交差的監査を推進すること。

提案手法

• アノテーターが FaceForensics++ および Blended Images の1,000本以上の本物動画を性別および人種についてラベル付けし、75.93%のインタラッターリアビリティを達成した。
• 本研究は、顔のスワップを「通常」（同じ人種／性別）または「不規則」（異なる人種／性別）に分類することで、トレーニングデータにおけるバイアスを評価した。
• 性別および人種にわたる均等な代表を有するバランスの取れた顔のデータセットを構築し、検出器の公平性を評価した。
• 3つの代表的な深フェイク検出器をこのバランスの取れたデータセットでテストし、性能差を測定した。
• FF++ および BI データセットからの偽物サンプルにおける前景および背景の顔の分布を分析し、歪んだトレーニング信号を特定した。
• 統計的分析により、交差的サブグループ間での誤差率を比較し、誤検出率に系統的な差が生じていることを明らかにした。

実験結果

リサーチクエスチョン

• RQ1 FaceForensics++ データセットは、現実世界の深フェイク検出シナリオにおいて、多様な人種および性別グループをどれほど代表しているか。
• RQ2 深フェイクのデータ生成手法が、顔の特徴と偽物性の間の誤った相関関係をどのように生み出しているか。
• RQ3 交差的人種的および性別のサブグループにおける深フェイク検出器の性能差は何か。
• RQ4 Blended Images データセットでトレーニングすることで、特に女性アジア系被験者に対して公平性にどのような影響が生じるか。
• RQ5 トレーニングデータにおける「不規則な」顔スワップ（人種や性別が異なるもの）は、検出器のバイアス行動をどれほど引き起こすか。

主な発見

• FaceForensics++ データセットは著しく不均衡であり、本物の動画の61.7%が白人被験者を含み、36.6%が女性白人を含んでいる。
• FaceForensics++ の偽物動画の59.44%が、異なる人種または性別の人物の顔をスワップした「不規則な」スワップである。
• Blended Images データセットには65.45%が「不規則な」スワップを含み、女性アジア人の顔が35.3%の割合で女性白人にスワップされている。
• これらのデータセットでトレーニングされた深フェイク検出器は、特定の人種的サブグループ、特に女性アジア人において最大10.7%の誤差率上昇を示している。
• Blended Images でトレーニングされた検出器は、不規則なスワップへの暴露のため、女性アジア被験者に対して系統的な差別的行動を示している。
• 本研究は、「不規則な」顔スワップが、顔の特徴と偽物性の間の誤った相関関係を生み出し、検出モデルの公平性を損なう要因であると同定した。