[논문 리뷰] BiaSwap: Removing dataset bias with bias-tailored swapping augmentation

Eungyeup Kim, Jihyeon Lee외 1명|arXiv (Cornell University)|2021. 08. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 29인용 수 4

한 줄 요약

BiaSwap는 사전에 편향 유형에 대한 지식이 필요 없이 데이터셋 편향을 제거하는 편향 맞춤형 이미지 증강 방법을 제안한다. 클래스 활성화 맵(CAMs)과 스타일 전이 모듈을 활용하여 '편향 유도' 이미지에 '편향에 반하는' 이미지의 편향 관련 특징을 교체함으로써, 실제적인 편향 제거된 훈련 샘플을 생성하며, 이는 편향이 있는 데이터와 없는 데이터 모두에서 일반화 성능을 향상시킨다.

ABSTRACT

Deep neural networks often make decisions based on the spurious correlations inherent in the dataset, failing to generalize in an unbiased data distribution. Although previous approaches pre-define the type of dataset bias to prevent the network from learning it, recognizing the bias type in the real dataset is often prohibitive. This paper proposes a novel bias-tailored augmentation-based approach, BiaSwap, for learning debiased representation without requiring supervision on the bias type. Assuming that the bias corresponds to the easy-to-learn attributes, we sort the training images based on how much a biased classifier can exploits them as shortcut and divide them into bias-guiding and bias-contrary samples in an unsupervised manner. Afterwards, we integrate the style-transferring module of the image translation model with the class activation maps of such biased classifier, which enables to primarily transfer the bias attributes learned by the classifier. Therefore, given the pair of bias-guiding and bias-contrary, BiaSwap generates the bias-swapped image which contains the bias attributes from the bias-contrary images, while preserving bias-irrelevant ones in the bias-guiding images. Given such augmented images, BiaSwap demonstrates the superiority in debiasing against the existing baselines over both synthetic and real-world datasets. Even without careful supervision on the bias, BiaSwap achieves a remarkable performance on both unbiased and bias-guiding samples, implying the improved generalization capability of the model.

연구 동기 및 목표

• 편향 유형에 대한 명시적 지도 학습 없이 딥러닝에서 데이터셋 편향을 해결한다.
• 훈련 데이터의 부적절한 상관관계에 대한 의존도를 줄임으로써 모델의 일반화 성능을 향상시킨다.
• '편향 유도'(편향 있음) 및 '편향에 반하는'(편향 없음) 샘플 모두에서 높은 성능을 유지한다.
• 의미적 콘텐츠를 유지하면서 오직 편향 관련 특징만 전달하는 실제적인 증강 방법을 개발한다.
• 편향이 쉽게 학습 가능한 것으로 가정함으로써, 비지도로 '편향 유도' 및 '편향에 반하는' 샘플을 식별할 수 있도록 한다.

제안 방법

• 편향된 분류기에서 생성된 클래스 활성화 맵(CAMs)을 사용해 부적절한 상관관계가 활용되는 영역을 식별한다.
• 편향된 분류기가 쉽게 학습 가능한 특징을 얼마나 많이 활용하는지에 따라 훈련 이미지를 '편향 유도' 및 '편향에 반하는' 집합으로 분류한다.
• CAMs를 스타일 전이 기반의 이미지 번역 프레임워크에 통합하여, '편향에 반하는' 이미지에서 '편향 유도' 이미지로 오직 편향 관련 특징만 전이한다.
• CAMs에 의해 유도되는 패치 기반 판별기를 사용하여 국소적이고 특징 기반의 스타일 전이를 보장한다.
• 훈련 안정화 및 소스와 타겟 특징 간의 정렬 향상을 위해 GCE(일반화된 교차 엔트로피) 손실을 사용한다.
• 원본에서 비편향 특징을 유지하면서 타겟에서 편향 특징을 채택한 '편향 교체' 이미지를 생성한다.

실험 결과

연구 질문

• RQ1 편향 유형에 대한 사전 지식 없이 효과적으로 편향을 탐지하고 완화할 수 있는가?
• RQ2 오직 편향 관련 특징만 전이함으로써 실제적이고 편향 제거된 훈련 샘플을 어떻게 생성할 수 있는가?
• RQ3 비지도로 '편향 유도' 및 '편향에 반하는' 샘플을 식별하는 것이 모델의 일반화 성능을 향상시키는가?
• RQ4 편향 교체된 이미지는 비편향 및 편향 테스트 시나리오에서 기존의 증강 기반 편향 제거 방법보다 우수한 성능을 보일 수 있는가?
• RQ5 증강된 이미지의 현실성은 비현실적인 아티팩트를 생성하는 방법에 비해 편향 제거 성능에 어떤 영향을 미치는가?

주요 결과

• BiaSwap는 Colored MNIST에서 최고 성능을 기록하여 비편향 테스트 정확도 83.74%를 달성했으며, SIN(40.79%) 및 바닐라 모델(48.76%)을 능가했다.
• 실세계 BAR 데이터셋에서 BiaSwap는 비편향 정확도 52.44%를 기록하여 SIN(50.51%) 및 바닐라 기준선(49.59%)을 초월했다.
• bFFHQ에서 BiaSwap는 비편향 정확도 78.98%를 달성했으며, SIN(69.86%) 및 바닐라 모델(74.86%)을 크게 앞서갔다.
• BiaSwap는 편향 유도 샘플에서도 강력한 성능을 유지하여, 편향된 데이터에서 정확도를 희생시키지 않고도 일반화 성능 향상을 보였다.
• 시각화 결과는 BiaSwap가 성별, 색상, 질감 등 오직 편향 관련 특징만 성공적으로 전이하면서 의미적 구조를 유지함을 확인했다.
• SIN과 비교해 BiaSwap는 더 실제적인 증강 이미지를 생성했으며, 종종 왜곡된 형태나 일관성 없는 질감을 유발하는 비현실적인 아티팩트를 거의 생성하지 않았다.