[論文レビュー] Fairness Testing of Deep Image Classification with Adequacy Metrics

Peixin Zhang, Jingyi Wang+2 more|arXiv (Cornell University)|Nov 17, 2021

Adversarial Robustness in Machine Learning参考文献 51被引用数 7

ひとこと要約

本稿では、深層画像分類モデルにおける公平性関連ニューロンの同定に有意性検定を用い、5つの多スケールメトリクスを用いて公平性の適切さを評価し、効率的な公平性向上のための最適なテストケースを選択する、体系的な公平性テストフレームワークであるDeepFAITを提案する。VGGFaceおよびFairFaceで評価した結果、従来手法に比べて公平性に敏感なニューロンをより効果的に検出でき、最小限のコストでモデルの公平性を向上させることができる。

ABSTRACT

As deep image classification applications, e.g., face recognition, become increasingly prevalent in our daily lives, their fairness issues raise more and more concern. It is thus crucial to comprehensively test the fairness of these applications before deployment. Existing fairness testing methods suffer from the following limitations: 1) applicability, i.e., they are only applicable for structured data or text without handling the high-dimensional and abstract domain sampling in the semantic level for image classification applications; 2) functionality, i.e., they generate unfair samples without providing testing criterion to characterize the model's fairness adequacy. To fill the gap, we propose DeepFAIT, a systematic fairness testing framework specifically designed for deep image classification applications. DeepFAIT consists of several important components enabling effective fairness testing of deep image classification applications: 1) a neuron selection strategy to identify the fairness-related neurons; 2) a set of multi-granularity adequacy metrics to evaluate the model's fairness; 3) a test selection algorithm for fixing the fairness issues efficiently. We have conducted experiments on widely adopted large-scale face recognition applications, i.e., VGGFace and FairFace. The experimental results confirm that our approach can effectively identify the fairness-related neurons, characterize the model's fairness, and select the most valuable test cases to mitigate the model's fairness issues.

研究の動機と目的

• 特に高次元的・意味論的な画像ドメインにおける深層画像分類モデルに対する体系的な公平性テストの欠如に取り組む。
• 従来の公平性テスト手法が構造化データやテキストデータに限定されており、テストの適切さを測る基準を欠いているという限界を克服する。
• 画像応用における深層ニューラルネットワークの公平性関連ニューロンの有効な同定を可能にするフレームワークを開発する。
• 単なるサンプル生成を越えて、公平性テストプロセスの完全性と有効性を定量的に評価できる多スケールの適切さメトリクスを導入する。
• 再訓練コストを最小限に抑えるために、公平性問題の修復に最も価値のあるテストケースを優先する効率的なテスト選択アルゴリズムを設計する。

提案手法

• 顔の識別性や照度特徴を保持しつつ、感覚的属性（例：人種、性別）間のドメイン変換をGANを用いて実行する。
• GANによって生成された画像ペア間のニューロン活性の差に有意性検定を適用し、ネットワーク内における公平性関連ニューロンを同定する。
• 同定された公平性関連ニューロンに基づき、2つのレイヤー単位と3つのニューロン単位の多スケール適切さメトリクスを設計し、テスト効果性を評価する。
• 3つのテストケース生成戦略（ランダム生成：RG、勾配ベース生成：GG、ガウスノイズ注入：GI）を実装し、多様な不平等なサンプルを生成する。
• 公平性向上に与える寄与度に基づいてテストケースをランク付けするテスト選択アルゴリズムを開発し、最小限の再トレーニングコストで効率的なモデル修復を可能にする。

実験結果

リサーチクエスチョン

• RQ1 高次元的・意味論的な画像空間における深層画像分類モデルの公平性関連ニューロンを、どのように効果的に同定できるか？
• RQ2 深層学習モデルにおける公平性テストの完全性と有効性を定量的に評価するための多スケール適切さメトリクスとして、どのような指標が利用可能か？
• RQ3 画像分類における公平性テストのための、多様で代表的な不平等なサンプルを生成するためのテストケース生成をどのように強化できるか？
• RQ4 テスト選択戦略は、公平性修復のコストをどの程度低減できるか、かつモデルの公平性を維持または向上させられるか？

主な発見

• DeepFAITは、GANによって生成された画像ペア間のニューロン活性差に有意性検定を適用することで、深層画像分類モデルにおける公平性関連ニューロンを効果的に同定できた。
• 提案された5つの適切さメトリクス（レイヤー単位およびニューロン単位）は、公平性テストの適切さを効果的に特徴づけ、公平性テストの完全性を定量的に評価する基盤を提供した。
• VGGFaceおよびFairFaceモデルにおいて、DeepImportanceに比べてDeepFAITは、公平性に敏感なニューロンを同定する能力が優れていた。
• テスト選択アルゴリズムにより、公平性修復に必要なテストケースの数を顕著に削減でき、かつ公平性の結果を維持または向上させることができた。
• VGGFaceおよびFairFaceデータセットにおける実験的評価から、DeepFAITが不平等なサンプルを効果的に検出でき、モデルバイアスの効率的是正を可能にすることが確認された。