[논문 리뷰] Robustness May Be at Odds with Fairness: An Empirical Study on Class-wise Accuracy

Philipp Benz, Chaoning Zhang외 2명|arXiv (Cornell University)|2020. 10. 26.

Qualitative Comparative Analysis Research참고 문헌 52인용 수 20

한 줄 요약

이 논문은 적대적 훈련된 모델에서 클래스 간 강건성 격차를 조사하며, 균형 잡힌 데이터셋을 사용하더라도 일부 클래스(예: CIFAR-10의 '고양이')가 상당히 낮은 강건성을 보임을 밝혀냈다. 연구는 적대적 훈련이 클래스 간 강건성 격차를 악화시킬 수 있음을 발견하여, 강건성 향상이 모든 클래스에 균일하게 분포된다는 가정을 도전한다.

ABSTRACT

Convolutional neural networks (CNNs) have made significant advancement, however, they are widely known to be vulnerable to adversarial attacks. Adversarial training is the most widely used technique for improving adversarial robustness to strong white-box attacks. Prior works have been evaluating and improving the model average robustness without class-wise evaluation. The average evaluation alone might provide a false sense of robustness. For example, the attacker can focus on attacking the vulnerable class, which can be dangerous, especially, when the vulnerable class is a critical one, such as "human" in autonomous driving. We propose an empirical study on the class-wise accuracy and robustness of adversarially trained models. We find that there exists inter-class discrepancy for accuracy and robustness even when the training dataset has an equal number of samples for each class. For example, in CIFAR10, "cat" is much more vulnerable than other classes. Moreover, this inter-class discrepancy also exists for normally trained models, while adversarial training tends to further increase the discrepancy. Our work aims to investigate the following questions: (a) is the phenomenon of inter-class discrepancy universal regardless of datasets, model architectures and optimization hyper-parameters? (b) If so, what can be possible explanations for the inter-class discrepancy? (c) Can the techniques proposed in the long tail classification be readily extended to adversarial training for addressing the inter-class discrepancy?

연구 동기 및 목표

• 모델의 강건성과 정확도 간 클래스 간 격차가 다양한 데이터셋, 아키텍처, 하이퍼파라미터에 걸쳐 일반적인지 조사하기.
• 표준 및 적대적 훈련된 모델에서 클래스 간 강건성 격차의 근본 원인을 이해하기.
• 장꼬리 분류 기법(예: 클래스 재가중, 포칼 손실)이 적대적 훈련에서 클래스 간 강건성 격차를 완화하는 데 어떻게 적용될 수 있는지 평가하기.
• 개선된 평균 강건성이 모든 클래스에 대해 공정한 강건성을 의미한다는 가정을 도전하기, 특히 안전이 중요한 응용 분야에서.

제안 방법

• 표준 및 적대적 훈련으로 훈련된 모델을 사용하여 여러 데이터셋(예: CIFAR-10, ImageNet-1000)에서 클래스 간 정확도와 강건성을 경험적으로 평가하기.
• 표준 및 적대적 훈련 환경에서 PGD 공격를 사용하여 클래스 간 강건성 비교하기.
• 모델 아키텍처와 최적화 하이퍼파라미터가 클래스 간 강건성 변동성에 미치는 영향 분석하기.
• 장꼬리 분류 기법(예: 클래스 재가중, 포칼 손실)을 적대적 훈련에 적용하여 클래스 간 격차 감소 효과 평가하기.
• 모든 클래스에 대해 클래스 간 정확도 및 강건성 지표를 사용하여 격차를 정량화하고 시각화하기.
• 적대적 훈련이 클래스 간 강건성 불균형에 미치는 영향을 분리하기 위해 아블레이션 스터디 수행하기.

실험 결과

연구 질문

• RQ1 강건성과 정확도의 클래스 간 격차는 다양한 데이터셋, 모델 아키텍처, 최적화 하이퍼파라미터에 걸쳐 일반적인가?
• RQ2 표준 및 적대적 훈련된 모델에서 클래스 간 강건성 격차의 근본 원인은 무엇인가?
• RQ3 장꼬리 분류 기법이 적대적 훈련에 효과적으로 확장되어 클래스 간 강건성 격차를 줄일 수 있는가?
• RQ4 적대적 훈련은 강건성을 균일하게 향상시키는가, 아니면 특정 클래스에 더 큰 영향을 미치는가?
• RQ5 자율 주행과 같은 응용에서 '사람'과 같은 핵심 클래스의 강건성은 적대적 공격 하에서 다른 클래스와 비교해 어떻게 되는가?

주요 결과

• 균형 잡힌 데이터셋을 사용하더라도, 적대적 훈련된 모델은 클래스 간 강건성 격차를 보이며, CIFAR-10의 '고양이'처럼 일부 클래스는 상당히 취약하다.
• 적대적 훈련은 강건성 격차를 줄이기보다는 증가시키는 경향이 있어, 전체 강건성 향상과 클래스 간 공정성 사이의 상충 관계를 시사한다.
• 이러한 클래스 간 강건성 격차 현상은 여러 데이터셋(예: CIFAR-10, ImageNet-1000), 모델 아키텍처, 최적화 하이퍼파라미터에 걸쳐 지속된다.
• 표준 훈련된 모델 역시 클래스 간 강건성 변동성을 보이며, 이 문제는 적대적 훈련의 부산물만은 아님을 시사한다.
• 장꼬리 분류 기법(예: 클래스 재가중, 포칼 손실)은 적대적 훈련 환경에서 클래스 간 강건성 격차 완화에 한계가 있다.
• 적대적 공격 하에서 가장 취약한 클래스는 반드시 훈련 샘플 수가 가장 적은 클래스는 아니며, 데이터 불균형이 강건성 격차의 유일한 원인은 아님을 시사한다.