[논문 리뷰] Towards Accuracy-Fairness Paradox: Adversarial Example-based Data Augmentation for Visual Debiasing

Yi Zhang, Jitao Sang|arXiv (Cornell University)|2020. 07. 27.

Adversarial Robustness in Machine Learning참고 문헌 29인용 수 12

한 줄 요약

이 논문은 시각적 디 biases 방지에서 민감한 속성(예: 성별)에 걸쳐 데이터 분포를 균형 잡는 데 사용되는, 적대적 예외 기반 데이터 증강(AEDA)이라는 새로운 방법을 제안한다. 타겟 작업 분류, 편향 예측, 적대적 예외 생성을 온라인 방식으로 동시에 최적화함으로써 AEDA는 모델의 정확도와 공정성을 동시에 향상시키며, 기준 방법보다 낮은 모델 편향과 높은 정확도를 달성한다.

ABSTRACT

Machine learning fairness concerns about the biases towards certain protected or sensitive group of people when addressing the target tasks. This paper studies the debiasing problem in the context of image classification tasks. Our data analysis on facial attribute recognition demonstrates (1) the attribution of model bias from imbalanced training data distribution and (2) the potential of adversarial examples in balancing data distribution. We are thus motivated to employ adversarial example to augment the training data for visual debiasing. Specifically, to ensure the adversarial generalization as well as cross-task transferability, we propose to couple the operations of target task classifier training, bias task classifier training, and adversarial example generation. The generated adversarial examples supplement the target task training dataset via balancing the distribution over bias variables in an online fashion. Results on simulated and real-world debiasing experiments demonstrate the effectiveness of the proposed solution in simultaneously improving model accuracy and fairness. Preliminary experiment on few-shot learning further shows the potential of adversarial attack-based pseudo sample generation as alternative solution to make up for the training data lackage.

연구 동기 및 목표

• 모델 편향의 근본 원인으로서의 데이터 불균형을 대상으로 하여, 시각적 디 biases 방지에서 공정성과 정확도 사이의 본질적 상충관계를 해결하기 위해.
• 적대적 예외가 디 biases를 위해 균형 잡힌 학습 데이터 분포를 재구성하는 효과적이고 고품질의 가짜 샘플로 기능할 수 있는지 탐색하기 위해.
• 타겟 분류기, 편향 분류기, 그리고 적대적 예외 생성을 동시에 온라인으로 결합된 방식으로 학습하는 공동 학습 프레임워크를 개발하기 위해.
• 데이터 분포 균형이 공정성과 정확성의 근본적인 요인임을 검증하여 동시에 향상시킬 수 있음을 입증하기 위해.
• 특히 저자원 환경에서, 적대적 공격 기반의 가짜 샘플 생성 기법이 디 biases를 넘어서는 잠재력을 갖추고 있는지 조사하기 위해.

제안 방법

• AEDA는 타겟 작업 분류, 편향 작업 분류, 그리고 적대적 예외 생성의 세 가지 요소를 공동으로 최적화하는 온라인 엔드 투 엔드 학습 파이프라인을 사용한다.
• 입력 이미지를 변형하여 예측된 편향 변수(예: 성별)를 변경하면서도 타겟 속성(예: '굽은 눈썹') 레이블은 유지하는 방식으로 적대적 예외를 생성한다.
• 생성된 적대적 예외는 동적으로 학습 세트에 추가되어, 편향 변수의 분포를 온라인 방식으로 균형 잡는다.
• 학습 중 지속적으로 편향 분류기와 적대적 생성기를 업데이트함으로써 교차 작업 전이성을 유지하여 시간이 지남에 따라 성능 저하를 방지한다.
• 기울기 기반 적대적 공격(PGD 등)과 모든 구성 요소 간의 공동 역전파를 사용하여 결합 최적화 과정으로서 구현된다.
• 기존 데이터를 폐기하지 않고도 사전 처리(데이터 균형 조정)와 내처리(적대적 훈련)의 장점을 결합하여 공정하고 대표적인 가짜 샘플을 생성한다.

실험 결과

연구 질문

• RQ1 적대적 예외는 시각적 디 biases 작업에서 불균형한 학습 데이터 분포를 효과적으로 재균형화하는 데 사용될 수 있는가?
• RQ2 타겟 분류, 편향 분류, 그리고 적대적 예외 생성을 온라인으로 결합하여 학습하면 공정성과 정확도가 동시에 향상되는가?
• RQ3 공정성과 정확성의 성능 향상에 기여하는 공통된 근본 요인인 데이터 분포 균형이 존재하는가?
• RQ4 적대적 공격 기반의 가짜 샘플 생성 기법은 소수의 샘플만 있는 시나리오에서 데이터 부족 문제를 효과적으로 해결할 수 있는가?
• RQ5 편향 분류기의 교차 작업 전이성이 디 biases 과정에서 장기적인 공정성과 정확성에 미치는 영향은 어떠한가?

주요 결과

• AEDA는 실제 세계의 얼굴 속성 인식 데이터셋에서 모델 편향을 3.1로 줄였으며, 온라인 적대적 업데이트가 없는 기준 방법의 5.3보다 유의미하게 낮다.
• 제안된 AEDA_robust 방법은 낮은 모델 편향과 높은 교차 작업 전이성을 유지하지만, 온라인 업데이트가 없는 AEDA_pre 버전은 40 에포크 이후에 편향이 급격히 증가한다.
• 모의 및 실제 실험에서 AEDA는 일관되게 공정성과 정확성을 향상시키며, 데이터 분포 균형이 동시에 성과 향상의 핵심 요인임을 입증한다.
• C-MNIST에서의 소수의 샘플 학습 시 AEDA가 생성한 가짜 샘플은 원본 모델 대비 저자원 클래스에서 평균 27%의 정확도 향상을 이끌어냈다.
• 결과는 적대적 예외가 인간이 인식하지 못하는 유용한 특징을 추출하여 모델의 일반화 능력과 공정성을 향상시킬 수 있음을 보여준다.
• 이 연구는 데이터 불균형이 모델 편향의 주요 원인임을 확인하였으며, 적대적 증강을 통해 이를 균형 잡는 것이 정확도를 희생시키지 않고도 편향을 효과적으로 완화시킬 수 있음을 입증한다.