[論文レビュー] Robustness May Be at Odds with Fairness: An Empirical Study on Class-wise Accuracy

Philipp Benz, Chaoning Zhang+2 more|arXiv (Cornell University)|Oct 26, 2020

Qualitative Comparative Analysis Research参考文献 52被引用数 20

ひとこと要約

この論文は、敵対的訓練されたモデルにおけるクラス別ロバストネスの不均衡を調査し、バランスの取れたデータセットであっても、たとえばCIFAR-10における「ねこ」のような特定のクラスが顕著に低いロバストネスを示すことを明らかにした。研究では、敵対的訓練がクラス間のロバストネス差を悪化させることを発見し、ロバストネスの向上がすべてのクラスに均等に分配されるという仮定に疑問を呈する。

ABSTRACT

Convolutional neural networks (CNNs) have made significant advancement, however, they are widely known to be vulnerable to adversarial attacks. Adversarial training is the most widely used technique for improving adversarial robustness to strong white-box attacks. Prior works have been evaluating and improving the model average robustness without class-wise evaluation. The average evaluation alone might provide a false sense of robustness. For example, the attacker can focus on attacking the vulnerable class, which can be dangerous, especially, when the vulnerable class is a critical one, such as "human" in autonomous driving. We propose an empirical study on the class-wise accuracy and robustness of adversarially trained models. We find that there exists inter-class discrepancy for accuracy and robustness even when the training dataset has an equal number of samples for each class. For example, in CIFAR10, "cat" is much more vulnerable than other classes. Moreover, this inter-class discrepancy also exists for normally trained models, while adversarial training tends to further increase the discrepancy. Our work aims to investigate the following questions: (a) is the phenomenon of inter-class discrepancy universal regardless of datasets, model architectures and optimization hyper-parameters? (b) If so, what can be possible explanations for the inter-class discrepancy? (c) Can the techniques proposed in the long tail classification be readily extended to adversarial training for addressing the inter-class discrepancy?

研究の動機と目的

• ロバストネスおよび精度のクラス間差が、さまざまなデータセット、アーキテクチャ、ハイパーパrameterにわたって普遍的であるかどうかを調査すること。
• 標準モデルおよび敵対的訓練モデルにおけるクラス別ロバストネス差の根本的要因を理解すること。
• 長尾分類分野の技術が、敵対的訓練におけるクラス間ロバストネス差を軽減するために適応可能かどうかを評価すること。
• 平均ロバストネスが向上しても、すべてのクラスに均等にロバストネスが分配されるという仮定に疑問を呈すること、特に安全が求められる応用分野において。

提案手法

• 標準的および敵対的訓練で学習されたモデルを用いて、複数のデータセット（例：CIFAR-10、ImageNet-1000）でクラス別精度およびロバストネスを実証的に評価する。
• 標準的および敵対的訓練の両状況下でPGD攻撃を用いて、クラス間のロバストネスを比較する。
• モデルアーキテクチャおよび最適化ハイパーパrameterがクラス間ロバストネスのばらつきに与える影響を分析する。
• クラス再重み付けやフォーカル損失などの長尾分類技術を敵対的訓練に適用し、クラス間差を低減する有効性を評価する。
• クラス別精度およびロバストネス指標を用いて、モデル内のすべてのクラスにおける差を定量化および可視化する。
• アブレーションスタディを実施し、敵対的訓練がクラス間ロバストネスの不均衡に与える影響を分離する。

実験結果

リサーチクエスチョン

• RQ1 ロバストネスおよび精度のクラス間差は、さまざまなデータセット、モデルアーキテクチャ、最適化ハイパーパrameterにわたって普遍的か？
• RQ2 標準モデルおよび敵対的訓練モデルにおけるクラス間ロバストネス差の背後にある根本的要因は何か？
• RQ3 長尾分類分野の技術が、敵対的訓練においてクラス間ロバストネス差を低減するために効果的に拡張可能か？
• RQ4 敵対的訓練はロバストネスを均一に向上させるのか、それとも特定のクラスに偏って影響を与えるのか？
• RQ5 自律走行における「人間」のような重要なクラスのロバストネスは、他のクラスと比べてどうか？

主な発見

• クラスバランスの取れたデータセットであっても、敵対的訓練されたモデルは顕著なクラス間ロバストネス差を示し、CIFAR-10における「ねこ」のようなクラスは著しく脆弱である。
• 敵対的訓練はクラス間ロバストネス差を減少させるのではなく、むしろ拡大させる傾向があるため、全体のロバストネスとクラス間の公平性の間にトレードオフがあると考えられる。
• クラス間ロバストネス差の現象は、CIFAR-10、ImageNet-1000などの複数のデータセット、モデルアーキテクチャ、最適化ハイパーパrameterにわたって持続する。
• 標準的訓練モデルでもクラス間ロバストネスのばらつきが見られるため、この問題は敵対的訓練に起因するものではないことが示唆される。
• クラス再重み付けやフォーカル損失などの長尾分類技術は、敵対的訓練環境におけるクラス間ロバストネス差の軽減に限定的な有効性しか示さない。
• 敵対的攻撃において最も脆弱なクラスは、訓練データ数が最も少ないクラスとは限らないため、データのアンバランスがロバストネス差の唯一の要因ではないことが示唆される。