[논문 리뷰] Fairness Through Robustness: Investigating Robustness Disparity in Deep Learning

Vedant Nanda, Samuel Dooley외 3명|arXiv (Cornell University)|2020. 06. 17.

Adversarial Robustness in Machine Learning참고 문헌 61인용 수 16

한 줄 요약

이 논문은 특정 하위군(예: 인종 또는 성별에 따라 나누는 경우)이 결정 경계에 가까워지면서 발생하는 딥 네ural 네트워크에서의 강건성 편향—즉, 적대적 페르터베이션에 대해 덜 강건한 형태의 불공평성—을 도입한다. 저자들은 적대적 공격과 랜덤화 스무딩을 사용하여 이 편향을 측정하는 방법을 제안하고, CIFAR-10, CIFAR-100, Adience 및 UTKFace에서 최신 기술 모델들 간에 강건성 격차가 존재한다는 경험적 증거를 제시한다. 일부 하위군은 특히 더 취약하다.

ABSTRACT

Deep neural networks (DNNs) are increasingly used in real-world applications (e.g. facial recognition). This has resulted in concerns about the fairness of decisions made by these models. Various notions and measures of fairness have been proposed to ensure that a decision-making system does not disproportionately harm (or benefit) particular subgroups of the population. In this paper, we argue that traditional notions of fairness that are only based on models' outputs are not sufficient when the model is vulnerable to adversarial attacks. We argue that in some cases, it may be easier for an attacker to target a particular subgroup, resulting in a form of extit{robustness bias}. We show that measuring robustness bias is a challenging task for DNNs and propose two methods to measure this form of bias. We then conduct an empirical study on state-of-the-art neural networks on commonly used real-world datasets such as CIFAR-10, CIFAR-100, Adience, and UTKFace and show that in almost all cases there are subgroups (in some cases based on sensitive attributes like race, gender, etc) which are less robust and are thus at a disadvantage. We argue that this kind of bias arises due to both the data distribution and the highly complex nature of the learned decision boundary in the case of DNNs, thus making mitigation of such biases a non-trivial task. Our results show that robustness bias is an important criterion to consider while auditing real-world systems that rely on DNNs for decision making. Code to reproduce all our results can be found here: \url{https://github.com/nvedant07/Fairness-Through-Robustness}

연구 동기 및 목표

• 딥 러닝에서 새로운 형태의 불공평성—즉, 특정 하위군이 결정 경계에 가까워지면서 발생하는 강건성 편향—을 식별하고 정의하는 것.
• 딥 네럴 네트워크의 비볼록적이고 복잡한 결정 경계로 인해 강건성 편향을 측정하는 데 어려움이 있음에도 불구하고, 이를 해결하는 데 초점을 맞추는 것.
• CIFAR-10, CIFAR-100, Adience 및 UTKFace와 같은 실제 세계 데이터셋에 대해 훈련된 최신 기술 모델들에서 강건성 편향이 존재하는지 경험적으로 조사하는 것.
• 정규화 기법이 강건성 편향을 완화하는 데 효과적인지 평가하는 것과 동시에, 이러한 완화가 더 넓은 사회적 및 윤리적 프레임워크 내에서 맥락화되어야 한다는 점을 강조하는 것.
• 고위험 실생활 적용에서, 출력의 공정성뿐만 아니라 강건성의 공정성에 대해서도 DNN을 감사하는 것의 중요성을 주장하는 것.

제안 방법

• 강건성 편향을 정의함: 인구의 다양한 하위군 간에 모델의 결정 경계로부터의 평균 거리의 격차로 정의한다.
• 적대적 공격(예: PGD 및 AutoAttack)을 사용하여 예측을 변경하는 데 필요한 최소한의 페르터베이션을 추정함으로써 결정 경계로부터의 거리의 대체 지표로 활용한다.
• 랜덤화 스무딩을 적용하여 페르터베이션된 입력에 대한 예측 평균을 통해 개별 데이터 포인트의 강건성 추정치를 향상시켜 신뢰도를 높인다.
• 하위군과 데이터셋의 나머지 부분 간에 강건성 거리가 큰 포인트(임계값 τ 이상)의 비율의 절대 차이로 측정 가능한 강건성 편향 점수를 수립한다.
• 소수자 집단과 다수자 집단 간의 강건성 격차를 페널티로 삼는 정규화된 훈련 목표를 제안하여, 모델 훈련 중 강건성 편향을 최소화하고자 한다.
• 다양한 모델과 데이터셋에 대해 정규화 방법을 구현하고 평가하여, 강건성 편향 감소에 대한 효과를 검증한다.

실험 결과

연구 질문

• RQ1 민감한 속성(예: 인종, 성별)에 의해 정의된 하위군이 최신 기술 딥 네럴 네트워크에서 적대적 페르터베이션에 대해 유의미하게 다른 강건성을 보이는가?
• RQ2 적대적 공격과 랜덤화 스무딩을 사용하여 복잡한 딥 네럴 네트워크에서 데이터 포인트의 결정 경계로부터의 거리를 신뢰성 있게 추정할 수 있는가?
• RQ3 강건성 편향은 데이터 분포와 모델 아키텍처와 어떻게 관련이 있으며, 학습 과정은 이 편향의 발생에 어떤 역할을 하는가?
• RQ4 기본적인 정규화 기법이 강건성 편향을 효과적으로 감소시킬 수 있으며, 이러한 접근 방식의 한계는 무엇인가?
• RQ5 강건성 편향은 전통적인 출력 기반 공정성 지표를 넘어서, 공정성 감사에 의미 있고 측정 가능한 기준이 될 수 있는가?

주요 결과

• CIFAR-10, CIFAR-100, Adience 및 UTKFace에서 평가된 거의 모든 최신 기술 모델에서 강건성 편향이 존재하며, 일부 하위군은 결정 경계에 지속적으로 더 가까이 있다.
• UTKFace 및 Adience 데이터셋에서 인종과 성별에 따라 정의된 하위군은 상당히 낮은 강건성을 보이며, 일부는 다른 하위군보다 최대 20% 더 적대적 공격에 취약하다.
• 적대적 공격과 랜덤화 스무딩의 사용은 매우 비볼록적인 딥 네럴 네트워크에서도 강건성 거리의 신뢰할 수 있는 추정이 가능함을 보여준다.
• 강건성 편향 점수 기반 정규화는 하위군 간의 강건성 격차를 감소시키며, 모델 훈련 수정을 통한 완화가 가능함을 입증한다.
• 강건성 편향은 데이터 불균형 때문만이 아니라, 데이터 분포와 딥 네럴 네트워크가 학습하는 복잡하고 비선형적인 결정 경계 간의 상호작용으로 인해 발생한다.
• 연구는 예측 정확도에서는 공정할 수 있지만 여전히 상당한 강건성 격차를 보이는 모델들이 존재함을 드러내며, 강건성을 공정성 기준으로 고려해야 한다는 필요성을 강조한다.