[論文レビュー] NeuronFair: Interpretable White-Box Fairness Testing through Biased Neuron Identification

Haibin Zheng, Zhiqing Chen+7 more|arXiv (Cornell University)|Dec 25, 2021

Ethics and Social Impacts of AI被引用数 6

ひとこと要約

NeuronFair は、深層ニューラルネットワーク（DNN）におけるバイアスのかかっているニューロンを特定することで、解釈可能かつ効率的に個別差別的インスタンス（IDI）を生成するホワイトボックス公平性テストフレームワークである。ニューロンレベルの解釈性とモーメンタム支援勾配探索を活用することで、構造化データにおいて、最先端の手法と比較して 5.84 倍の IDI を生成し、534.56% 速く生成可能である。また、構造化データに加え、画像やテキストなどの非構造化データも対応可能である。

ABSTRACT

Deep neural networks (DNNs) have demonstrated their outperformance in various domains. However, it raises a social concern whether DNNs can produce reliable and fair decisions especially when they are applied to sensitive domains involving valuable resource allocation, such as education, loan, and employment. It is crucial to conduct fairness testing before DNNs are reliably deployed to such sensitive domains, i.e., generating as many instances as possible to uncover fairness violations. However, the existing testing methods are still limited from three aspects: interpretability, performance, and generalizability. To overcome the challenges, we propose NeuronFair, a new DNN fairness testing framework that differs from previous work in several key aspects: (1) interpretable - it quantitatively interprets DNNs' fairness violations for the biased decision; (2) effective - it uses the interpretation results to guide the generation of more diverse instances in less time; (3) generic - it can handle both structured and unstructured data. Extensive evaluations across 7 datasets and the corresponding DNNs demonstrate NeuronFair's superior performance. For instance, on structured datasets, it generates much more instances (~x5.84) and saves more time (with an average speedup of 534.56%) compared with the state-of-the-art methods. Besides, the instances of NeuronFair can also be leveraged to improve the fairness of the biased DNNs, which helps build more fair and trustworthy deep learning systems.

研究の動機と目的

• 既存の DNN における公平性テスト手法に見られる解釈性の欠如に取り組み、意思決定がなぜ不公平であるかを説明できない問題を解消する。
• 特に高次元かつ非線形な DNN において、多様で効果的な個別差別的インスタンス（IDI）を生成する現行手法の限界を克服する。
• 特徴量レベルでの感度属性の操作が困難な非構造化データ（例：画像、テキスト）への一般化を向上させる。
• モーメンタムと動的損失最適化を用いることで、時間コストを低減し、勾配消失を回避する。
• DNN におけるバイアスのかかっているニューロンの挙動に関する実行可能なインサイトを提供することで、実用的な公平性評価と是正を可能にする。

提案手法

• 活性化に基づく解釈を用いて、DNN の各隠れ層におけるバイアスのかかっているニューロンを特定し、不正な予測に与える寄与度を定量化する。
• ニューロンおよび層レベルでの差別の深刻度を定量的に測定するための AS カーブと AUC メトリクスを導入する。
• 二段階の IDI 生成戦略を採用する：グローバルフェーズでは、多様な入力領域を探索するためのモーメンタム加速勾配探索を実施し、ローカルフェーズでは動的損失を用いてインスタンスを精緻化して多様性を向上させる。
• 入力特徴量に対する勾配誘導型摂動を適用する。非構造化データ（例：画像のピクセル、テキストのトークンレベルの変更）に対しては、特別な処理を施して感度属性を変更する。
• 最適化中に適応的に変化する動的損失関数を用いることで、局所最小値を回避し、勾配消失の問題を緩和する。
• 感度属性の変更を意味のある入力摂動（例：顔画像における性別のピクセルレベルでの反転）にマッピングすることで、構造化および非構造化データの両方を対応可能にする。

実験結果

リサーチクエスチョン

• RQ1 DNN におけるバイアスのかかっているニューロンを体系的かつ定量的に特定・解釈でき、公平性違反の理由を説明できるか？
• RQ2 ニューロンレベルの解釈により、DNN における生成された個別差別的インスタンス（IDI）の有効性と多様性が向上するか？
• RQ3 提案手法は、画像やテキストを含む構造化および非構造化データの両方で、効率的に IDI を生成できるか？
• RQ4 NeuronFair は、最先端の公平性テスト手法と比較して、IDI 生成の速度、量、多様性の観点で優れているか？
• RQ5 生成された IDI は、微調整や是正のために元の DNN の公平性を向上させるために使用できるか？

主な発見

• NeuronFair は、構造化データセットにおいて、最先端の手法と比較して平均で 5.84 倍の個別差別的インスタンス（IDI）を生成する。
• NeuronFair は、SOTA メソッドと比較して、IDI 生成時間の平均で 534.56% の高速化を達成し、著しく効率性が向上している。
• 本手法は、顔画像などの非構造化データを効果的に処理でき、従来の手法が失敗するコンピュータビジョン応用分野における公平性テストを可能にした。
• AUC を用いた差別の深刻度メトリクスは、不正な予測に最も寄与している層やニューロンを効果的に同定でき、標的的なモデル分析を可能にする。
• NeuronFair が生成した IDI は、微調整に用いることで公平性の向上に有効であることが示され、信頼性のある DNN を構築する上で実用的であることが裏付けられた。
• モーメンタム支援勾配探索と動的損失関数は、勾配消失を効果的に緩和し、特に高次元空間においてインスタンスの多様性を向上させる。