[論文レビュー] Towards Measuring Fairness in AI: the Casual Conversations Dataset

Caner Hazırbaş, Joanna Bitton+4 more|arXiv (Cornell University)|Apr 6, 2021

Building Energy and Comfort Optimization被引用数 4

ひとこと要約

本論文は、3,011名の被験者から成る多様で人間がアノテートした動画データセット「Casual Conversations Dataset」を紹介する。被験者は自ら年齢、性別、Fitzpatrick皮膚タイプ、照明条件を報告しており、AIの公平性を評価するために用いられる。本研究では、ダークスキントーンや低照度条件下において、最先端のディープフェイク検出モデルや年齢／性別認識モデルの性能が著しく低下することが明らかになった。これは、現在のAIシステムに深刻なバイアスが存在することを示している。

ABSTRACT

This paper introduces a novel dataset to help researchers evaluate their computer vision and audio models for accuracy across a diverse set of age, genders, apparent skin tones and ambient lighting conditions. Our dataset is composed of 3,011 subjects and contains over 45,000 videos, with an average of 15 videos per person. The videos were recorded in multiple U.S. states with a diverse set of adults in various age, gender and apparent skin tone groups. A key feature is that each subject agreed to participate for their likenesses to be used. Additionally, our age and gender annotations are provided by the subjects themselves. A group of trained annotators labeled the subjects' apparent skin tone using the Fitzpatrick skin type scale. Moreover, annotations for videos recorded in low ambient lighting are also provided. As an application to measure robustness of predictions across certain attributes, we provide a comprehensive study on the top five winners of the DeepFake Detection Challenge (DFDC). Experimental evaluation shows that the winning models are less performant on some specific groups of people, such as subjects with darker skin tones and thus may not generalize to all people. In addition, we also evaluate the state-of-the-art apparent age and gender classification methods. Our experiments provides a thorough analysis on these models in terms of fair treatment of people from various backgrounds.

研究の動機と目的

• アルゴリズムバイアスを是正するため、年齢、性別、皮膚色、照明条件といったデモグラフィック属性および環境的属性の公平性を評価できる多様で代表的なデータセットを構築すること。
• 皮膚色や周囲の照明といったさまざまな条件下でのコンピュータビジョンおよび音声モデルのロバストネスを測定するベンチマークを提供すること。
• DeepFake Detection Challenge (DFDC) で最高の性能を示したモデルが、多様なデモグラフィックグループにわたって現実世界でどれほど一般化できるかを評価すること。
• 自ら年齢と性別をアノテートしたデータセットを提供することで、第三者によるラベル付けによるバイアスを低減し、より包括的かつ責任あるAI開発を可能にすること。

提案手法

• 本データセットは、米国各地域に住む3,011名の被験者から構成され、各被験者が約15本のカジュアルな会話動画を提供した。
• 被験者は自ら年齢と性別を特定したため、デモグラフィック属性におけるラベル付けバイアスの可能性が低減された。
• 訓練を受けたアノテーターがFitzpatrickスケールを用いて皮膚色の外見的タイプをアノテートし、6つの皮膚タイプカテゴリにわたり分析が可能となった。
• 周囲の照明条件（明るい vs. 暗い）を動画にラベル付けしたため、低照度シナリオの評価が可能となった。
• 顔検出には DLIB を使用し、各動画に対して100個のサンプリングされた顔クロップを用いてモデル予測を集約することで、ロバストネスを向上させた。
• 評価は、精度、ロス・ロス、受信器操作特性曲線（ROC）分析を用い、公平性の観点からディープフェイク検出モデルおよび最先端の年齢／性別分類モデルを対象とした。

実験結果

リサーチクエスチョン

• RQ1 DFDCで上位を占めるディープフェイク検出モデルは、異なる皮膚色や照明条件下でどのように性能を示すか？
• RQ2 最先端の外見的年齢および性別分類モデルは、より明るい皮膚色や特定の年齢／性別グループに対してどれほどバイアスを示すか？
• RQ3 第三者によるラベリングと比較して、自ら年齢と性別を報告したアノテーションは、デモグラフィック属性データセットにおけるバイアスを低減できるか？
• RQ4 周囲の照明は、顔の属性認識およびディープフェイク検出モデルの性能にどのように影響するか？
• RQ5 Fitzpatrick皮膚タイプにおけるモデル性能の公平性ギャップ、特に暗い皮膚色（タイプVおよびVI）においてはいかなるものか？

主な発見

• DFDCで上位を占めるモデル、特に優勝者である Selim Seferbekov [8] は、暗い皮膚色（タイプVI）では顕著に性能が低下し、明るい皮膚色と比較して精度が20%以上低下した。
• 外見的性別分類モデルは、タイプVI皮膚色では平均で53.78%の精度にとどまり、タイプIでは83.33%に達した。これは顕著な公平性ギャップを示している。
• 最も優れた年齢および性別モデルである LightFace [35] ですら、暗い皮膚色では20%以上の性能低下を示し、最先端システムにおける継続的なバイアスを示している。
• すべての評価対象モデルが、周囲の照明が低い状態で精度が低下しており、暗い条件下では最大で10%の精度低下が観察された。
• The Medics [12] や Eighteen Years Old [11] といったモデルは、年齢、性別、照明の各カテゴリで一貫性のない性能を示し、明確なバランスが取れていないことが判明した。
• 本データセットは、アンバランスなデータセットで学習されたモデルが、特に表れないグループ（例：暗い肌の持ち主）に対して一般化できないことを明らかにした。