[論文レビュー] Simon Says: Evaluating and Mitigating Bias in Pruned Neural Networks with Knowledge Distillation

Cody Blakeney, Nathaniel Huish+2 more|arXiv (Cornell University)|Jun 15, 2021

Adversarial Robustness in Machine Learning参考文献 26被引用数 4

ひとこと要約

本稿では、剪定されたニューラルネットワークにおけるバイアスを定量的に評価するための2つの新しい指標、組み合わせ誤差分散（CEV）と対称距離誤差（SDE）を導入する。知識蒸留が、クラスに偏りのあるデータセットでさえも剪定に起因するバイアスを効果的に軽減することを示し、SVCCAを用いたモデル類似度がバイアスの低減と強く相関していることを明らかにした。これは、剪定中にバイアスがどのように生じるかの説明を提供する。

ABSTRACT

In recent years the ubiquitous deployment of AI has posed great concerns in regards to algorithmic bias, discrimination, and fairness. Compared to traditional forms of bias or discrimination caused by humans, algorithmic bias generated by AI is more abstract and unintuitive therefore more difficult to explain and mitigate. A clear gap exists in the current literature on evaluating and mitigating bias in pruned neural networks. In this work, we strive to tackle the challenging issues of evaluating, mitigating, and explaining induced bias in pruned neural networks. Our paper makes three contributions. First, we propose two simple yet effective metrics, Combined Error Variance (CEV) and Symmetric Distance Error (SDE), to quantitatively evaluate the induced bias prevention quality of pruned models. Second, we demonstrate that knowledge distillation can mitigate induced bias in pruned neural networks, even with unbalanced datasets. Third, we reveal that model similarity has strong correlations with pruning induced bias, which provides a powerful method to explain why bias occurs in pruned neural networks. Our code is available at https://github.com/codestar12/pruning-distilation-bias

研究の動機と目的

• 剪定されたニューラルネットワークにおけるバイアスを評価するための有効な指標の欠如に対処すること。
• 特にクラスに偏りのあるデータセットにおいても、知識蒸留が剪定に起因するバイアスを効果的に軽減できるかどうかを調査すること。
• SVCCAを用いたモデル類似度の分析を通じて、剪定されたモデルにおけるバイアスの根本的原因を解明すること。
• PIEsのような既存の指標とは異なり、定量的で客観的かつスケーラブルな代替指標を提供すること。

提案手法

• バイアス防止の質を評価するため、クラス間の誤差分散を定量化する指標として、組み合わせ誤差分散（CEV）を提案する。
• 2つのモデル間の直接比較を可能にする対称的かつ正規化された誤差指標として、対称距離誤差（SDE）を導入する。
• クラスに偏りのあるデータセットで学習された場合でも、剪定モデルに対して最先端の知識蒸留技術を適用し、バイアスを低減する。
• 各層における剪定済みモデルと元のモデルの特徴表現の類似度を測定するために、特異ベクトル正準相関分析（SVCCA）を用いる。
• 複数の剪定手法およびスパarsityレベルにおいて、CEVおよびSDEスコアを比較し、バイアス軽減のパフォーマンスを評価する。
• SVCCA距離をCEVの予測子として用い、モデル類似度と誘発バイアスの関係を説明する。

実験結果

リサーチクエスチョン

• RQ1 PIEsのような既存の指標を超えて、剪定されたニューラルネットワークにおけるバイアスを客観的かつ定量的に評価する方法は何か？
• RQ2 特にクラスに偏りのあるデータセットにおいても、知識蒸留は剪定に起因するバイアスを効果的に低減できるか？
• RQ3 剪定されたニューラルネットワークにおけるモデル類似度とバイアスの程度の関係は何か？
• RQ4 高いトップ-1精度は、剪定モデルにおける低バイアスを示唆するのか、それとも他の指標がより予測的か？
• RQ5 SVCCAに基づく類似度測定値は、なぜ一部の剪定モデルが他のモデルよりもバイアスを強く誘発するかを説明できるか？

主な発見

• CEVおよびSDEは、PIEsよりも優れており、大規模な剪定モデルの集団を必要とせず、2つのモデル間の直接的かつ客観的な比較を可能にする。
• 知識蒸留は、クラスに偏りのあるデータセットで学習された場合でも、剪定に起因するバイアスを顕著に低減する。これは、CEVおよびSDEスコアの低さによって確認された。
• SVCCAで測定されたモデル類似度は、すべてのスパarsityレベルおよび剪定手法において、CEVの最も強い予測子である。これは、元のモデルとの類似度が高いほど、誘発バイアスが小さくなることを示している。
• トップ-1精度はバイアスの指標として不適切である。バイアスのあるデータセットで最高のトップ-1精度を達成するモデルは、しばしばCEVおよびSDEスコアにおいて最悪の順位を占める。
• SVCCA距離とCEVの相関関係は、CIFAR100、CIFAR10、Imagenette、Imagewoofといった異なるデータセットおよびResNet、VGG16といった異なるアーキテクチャにおいても成り立つ。これは、その一般化可能性を裏付けている。
• 元のモデルと特徴表現の類似度が高い剪定モデルは、一貫して低いバイアスを示す。これは、表現の忠実性を維持することが公平性の鍵であることを示唆している。