[論文レビュー] Improving Fairness in Image Classification via Sketching

Ruichen Yao, Ziteng Cui+2 more|arXiv (Cornell University)|Oct 31, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、入力画像をスケッチに変換することで、肌色や質感といったバイアスを引き起こす要因を内蔵的に除去しながらも、意味的情報を保持する、新たな前処理アプローチを提案する。CLIPに従ったスケッチ化モデルと公平性損失を組み合わせることで、最小限の精度低下で複数のデータセットにおいて最先端の公平性向上を達成する。

ABSTRACT

Fairness is a fundamental requirement for trustworthy and human-centered Artificial Intelligence (AI) system. However, deep neural networks (DNNs) tend to make unfair predictions when the training data are collected from different sub-populations with different attributes (i.e. color, sex, age), leading to biased DNN predictions. We notice that such a troubling phenomenon is often caused by data itself, which means that bias information is encoded to the DNN along with the useful information (i.e. class information, semantic information). Therefore, we propose to use sketching to handle this phenomenon. Without losing the utility of data, we explore the image-to-sketching methods that can maintain useful semantic information for the target classification while filtering out the useless bias information. In addition, we design a fair loss to further improve the model fairness. We evaluate our method through extensive experiments on both general scene dataset and medical scene dataset. Our results show that the desired image-to-sketching method improves model fairness and achieves satisfactory results among state-of-the-art.

研究の動機と目的

• 訓練データに偏りがあることによって生じる深層ニューラルネットワークの公平性問題、特に肌色、性別、年齢などの属性に関する問題を解決すること。
• 画像スケッチ化が、肌色や質感といったバイアスを引き起こす視覚的特徴を除去しつつ、分類に必要な意味的情報を保持できるかどうかを検討すること。
• モデルアーキテクチャや推論プロセスを変更せずに、単純かつ効果的な前処理パイプラインを開発すること。
• 一般画像データセットおよび医療画像データセットにおけるスケッチ化と公平性損失の組み合わせの有効性を評価すること。
• スケッチ化が、最小限の精度低下で最先端の公平性パフォーマンスを達成できることを実証すること。

提案手法

• 本手法は、CLIPに従った画像からスケッチへの変換モデルを用い、色や質感情報といったバイアス要因を除外しながらも、意味的および分類に必要な特徴を保持する。
• 得られたスケッチ画像を標準的な分類モデルに供給し、精度を維持するためのクロスエントロピー分類損失で学習する。
• さらにバイアスを低減するための公平性損失項を導入し、総損失は分類損失と公平性損失の重み付き和として定義される。
• 公平性損失は、性別、肌色、年齢などの異なる感受性属性におけるモデル予測の乖離を低減することを目的として設計されている。
• スケッチ化パイプラインは学習段階でオフラインで適用されるため、推論段階での変更が不要な前処理手法である。
• 標準的な公平性指標（統計的差の差（SPD）、同等の機会差（EOD）、等化オッズ差（DEO）、平均の差（AOD））を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 スケッチ化により、肌色や質感といった属性固有の視覚的手がかりを効果的に除去することで、画像分類モデルのバイアスを低減できるか？
• RQ2 スケッチ化が、バイアス低減を図りつつ、分類に必要な十分な意味的およびクラス関連情報を保持できるか？
• RQ3 スケッチ化と公平性損失を組み合わせた手法が、従来の公平性手法と比較して、公平性指標および精度の面でどのように異なるか？
• RQ4 本手法は、医療画像（例：ISIC）や一般のシーンデータセット（例：CelebA）を含む多様なデータセットに一般化可能か？
• RQ5 公平性損失の追加が、モデル精度を著しく低下させることなく、さらに公平性を向上させられるか？

主な発見

• 性別を感受性属性とするCelebAデータセットにおいて、本手法はSPDを元の0.0707からスケッチ化と公平性損失を適用した0.0333にまで低減し、顕著な公平性の向上を示した。
• CelebAにおける肌色バイアスに対して、本手法はSPDを0.0707から0.0333に、DEOを0.0916から0.0564にまで低減し、強力なバイアス低減効果を示した。
• ISICデータセットでは、年齢関連バイアスに対してSPDを0.246（元の値）から0.223に、肌色バイアスに対しては0.134から0.144にまで低減し、EODおよびAOD指標でも公平性が向上した。
• 最先端の公平性手法（fair training + FAA）と比較して、特に性別バイアスにおけるSPD低減の面で、競争的または優れた公平性パフォーマンスを達成した。
• 公平性損失を適用した場合、わずかな精度低下が生じたが、F1スコアおよびすべての感受性属性における精度は、全体として最小限の低下に抑えられ、高い性能を維持した。
• 結果から、スケッチ化は、特に公平性損失と組み合わせた場合、多様な画像分類タスクにおいて効果的な前処理手法であることが確認された。