[논문 리뷰] Learning from Failure: Training Debiased Classifier from Biased Classifier

Jun Hyun Nam, Hyuntak Cha외 3명|arXiv (Cornell University)|2020. 07. 06.

Adversarial Robustness in Machine Learning참고 문헌 28인용 수 53

한 줄 요약

LfF는 편향된 네트워크와 편향 제거 네트워크를 병렬로 학습한다; 편향된 네트워크는 초기 편향을 증폭하고, 편향 제거 네트워크는 편향이 실패하는 샘플에 집중하여 명시적 편향 라벨 없이도 비편향 정확도를 향상시킨다.

ABSTRACT

Neural networks often learn to make predictions that overly rely on spurious correlation existing in the dataset, which causes the model to be biased. While previous work tackles this issue by using explicit labeling on the spuriously correlated attributes or presuming a particular bias type, we instead utilize a cheaper, yet generic form of human knowledge, which can be widely applicable to various types of bias. We first observe that neural networks learn to rely on the spurious correlation only when it is "easier" to learn than the desired knowledge, and such reliance is most prominent during the early phase of training. Based on the observations, we propose a failure-based debiasing scheme by training a pair of neural networks simultaneously. Our main idea is twofold; (a) we intentionally train the first network to be biased by repeatedly amplifying its "prejudice", and (b) we debias the training of the second network by focusing on samples that go against the prejudice of the biased network in (a). Extensive experiments demonstrate that our method significantly improves the training of the network against various types of biases in both synthetic and real-world datasets. Surprisingly, our framework even occasionally outperforms the debiasing methods requiring explicit supervision of the spuriously correlated attributes.

연구 동기 및 목표

• 명시적 편향 라벨이 비싸거나 이용할 수 없을 때 편향 제거를 동기 부여한다.
• 대상 속성보다 편향을 배우는 것이 더 쉬운 경우에 편향이 학습되는 훈련 역학을 조사한다.
• 편향 집중 증폭과 실패 주도 재가중치를 사용하는 두 네트워크 편향 제거 체계를 개발한다.
• 합성 및 실제biased 데이터셋에서 LfF를 평가하여 비편향 성능의 개선을 입증한다.

제안 방법

• 두 네트워크를 동시에 학습한다: 편향 모델 fB와 편향 제거 모델 fD.
• 일반화 교차 엔트로피(GCE) 손실을 사용해 fB의 편향을 증폭하고 쉬운 샘플에 중점을 둔다.
• 상대 난이도 가중치 W(x) = CE(fB(x),y) / (CE(fB(x),y) + CE(fD(x),y)) 를 계산하여 fD의 CE 손실에 재가중치를 적용한다.
• W(x)를 사용한 가중된 CE 손실로 fD를 업데이트하여 편향 충돌 샘플을 강조한다.
• 악성 편향에서 편향이 대상 속성보다 먼저 학습된다는 관찰에 의존해 가중치를 안내한다.
• 명시적 편향 감독에 의존하는 기준선과의 비교를 선택적으로 수행한다.

실험 결과

연구 질문

• RQ1 편향이 먼저 학습되는 학습 역학을 이용해 명시적 편향 라벨 없이도 편향 제거가 가능한가?
• RQ2 하나는 편향된, 하나는 편향 제거된 두 네트워크 쌍이 편향된 데이터셋에서 비편향 정확도를 향상시키는가?
• RQ3 제안된 GCE 기반 편향 증폭이 편향 충돌 샘플의 가중 손실을 통한 편향 제거와 어떻게 상호 작용하는가?
• RQ4 제안 방식이 CelebA 및 BAR과 같은 실제 편향 데이터셋과 합성 편향 데이터셋에서도 강건한가?

주요 결과

• LfF는 색상 편향, 질감 편향, 성별 편향이 있는 데이터셋에서 비편향 정확도를 크게 향상시킨다.
• 높은 편향 정렬 비율을 가진 Colored MNIST에서 비편향 정확도가 35.34%( vanilla)에서 63.39%(LfF)로 향상된다.
• Corrupted CIFAR-10 1에서 99.5% 편향 정렬 샘플일 때 비편향 정확도는 17.93%에서 31.66%로 향상된다(LfF).
• CelebA에서 LfF는 그룹 DRO(Group DRO)가 사용하는 명시적 편향 라벨과 비교해 더 높은 비편향 정확도와 경쟁력 있는 편향 충돌 성능을 보인다.
• BAR 실제 데이터에서 LfF는 대부분의 액션 클래스에서 vanilla 및 ReBias를 능가하여 현실적 편향 시나리오에서의 효과를 시사한다.