[論文レビュー] Assessing Dataset Bias in Computer Vision

Athiya Deviyani|arXiv (Cornell University)|Jan 1, 2021

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本研究は、コンピュータビジョンのデータセットにおけるバイアスを軽減するためのデータ拡張技術を調査し、UTKFaceデータセットの性別、年齢、人種の不均衡な分布に焦点を当てている。アンダーサンプリング、幾何変換、VAE、GANsを評価した結果、StarGANを用いた拡張が最も優れたパフォーマンスを示し（UTKFaceテストセットで91.75％の正確性）、クラスごとの正確性が均一で、外部データセットへの一般化性能も向上した。

ABSTRACT

A biased dataset is a dataset that generally has attributes with an uneven class distribution. These biases have the tendency to propagate to the models that train on them, often leading to a poor performance in the minority class. In this project, we will explore the extent to which various data augmentation methods alleviate intrinsic biases within the dataset. We will apply several augmentation techniques on a sample of the UTKFace dataset, such as undersampling, geometric transformations, variational autoencoders (VAEs), and generative adversarial networks (GANs). We then trained a classifier for each of the augmented datasets and evaluated their performance on the native test set and on external facial recognition datasets. We have also compared their performance to the state-of-the-art attribute classifier trained on the FairFace dataset. Through experimentation, we were able to find that training the model on StarGAN-generated images led to the best overall performance. We also found that training on geometrically transformed images lead to a similar performance with a much quicker training time. Additionally, the best performing models also exhibit a uniform performance across the classes within each attribute. This signifies that the model was also able to mitigate the biases present in the baseline model that was trained on the original training set. Finally, we were able to show that our model has a better overall performance and consistency on age and ethnicity classification on multiple datasets when compared with the FairFace model. Our final model has an accuracy on the UTKFace test set of 91.75%, 91.30%, and 87.20% for the gender, age, and ethnicity attribute respectively, with a standard deviation of less than 0.1 between the accuracies of the classes of each attribute.

研究の動機と目的

• UTKFaceのような一般的なデータセットにおける不均衡なクラス分布が引き起こすコンピュータビジョン分野のデータセットバイアスを是正すること。
• データ拡張技術が少数クラスのモデルバイアスを低減させ、パフォーマンスを向上させられるかどうかを評価すること。
• アンダーサンプリング、幾何変換、VAE、GANsの有効性を比較し、バイアス低減にどの程度効果があるかを検証すること。
• 外部顔認識データセット（LFWA+ および CelebA）におけるモデルの一般化性能を評価すること。
• 最先端のFairFace属性分類器と比較して、性能をベンチマークすること。

提案手法

• アンダーサンプリング、幾何変換、変分自己オートエンコーダー（VAEs）、生成対抗ネットワーク（GANs）を含む4つのデータ拡張技術を適用した。
• すべての分類器に一貫性を保つために、ResNet-18アーキテクチャを採用した。
• 拡張されたUTKFaceサンプルでモデルを学習し、元のUTKFaceテストセットおよび外部データセットで評価した。
• 正確性、クラスごとの正確性の標準偏差、クロスデータセット一般化性能といった標準指標を用いた。
• FairFaceデータセットで学習された最先端モデルと比較し、相対的なパフォーマンスを評価した。
• 実装にはPyTorchを用い、クラスごとの正確性の一貫性を通じてモデルのロバスト性を評価した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 異なるデータ拡張技術は、ネイティブなUTKFaceテストセットにおけるモデルパフォーマンスにどのように影響するか？
• RQ2 RQ2: 拡張データで学習したモデルは、LFWA+ や CelebA といった外部顔認識データセットへどの程度一般化できるか？
• RQ3 RQ3: 最もパフォーマンスの良かったモデルは、正確性およびバイアス低減の観点から、最先端のFairFaceモデルと比べてどう異なるか？

主な発見

• StarGANで生成された画像で学習したモデルは、性別分類においてUTKFaceテストセットで最高の全体正確性91.75％を達成した。年齢分類では91.30％、人種分類では87.20％であった。
• StarGANで生成されたデータで学習したモデルは、各属性のクラス正確性において標準偏差が0.1未満に抑えられ、性能の一貫性が高く、バイアス低減効果が明確に示された。
• 幾何変換はStarGANと同等のパフォーマンスを示したが、はるかに短い学習時間で実行可能であり、実用的な代替手段となった。
• 最もパフォーマンスの良かったモデルは、FairFaceモデルよりもLFWA+およびCelebAにおけるクロスデータセット一般化性能が優れていた。
• 本研究では、特にGANsによる生成的拡張が、アンダーサンプリングやVAEといった従来手法よりもバイアス低減および公平性向上に効果的であることが確認された。
• 結果から、データ拡張が顔属性分類における少数クラス間のパフォーマンス格差を効果的に低減できることを示した。