[논문 리뷰] Learning Debiased Representation via Disentangled Feature Augmentation

Jungsoo Lee, Eungyeup Kim외 3명|arXiv (Cornell University)|2021. 07. 03.

Domain Adaptation and Few-Shot Learning참고 문헌 35인용 수 46

한 줄 요약

논문은 고유 속성과 편향 속성을 해리하여 다양한 편향 충돌 샘플을 합성하는 특징 수준 데이터 증강 방법을 제안하고, 합성 및 실제 데이터 세트 전반에서 디바이어스 제거와 일반화를 개선한다.

ABSTRACT

Image classification models tend to make decisions based on peripheral attributes of data items that have strong correlation with a target variable (i.e., dataset bias). These biased models suffer from the poor generalization capability when evaluated on unbiased datasets. Existing approaches for debiasing often identify and emphasize those samples with no such correlation (i.e., bias-conflicting) without defining the bias type in advance. However, such bias-conflicting samples are significantly scarce in biased datasets, limiting the debiasing capability of these approaches. This paper first presents an empirical analysis revealing that training with "diverse" bias-conflicting samples beyond a given training set is crucial for debiasing as well as the generalization capability. Based on this observation, we propose a novel feature-level data augmentation technique in order to synthesize diverse bias-conflicting samples. To this end, our method learns the disentangled representation of (1) the intrinsic attributes (i.e., those inherently defining a certain class) and (2) bias attributes (i.e., peripheral attributes causing the bias), from a large number of bias-aligned samples, the bias attributes of which have strong correlation with the target variable. Using the disentangled representation, we synthesize bias-conflicting samples that contain the diverse intrinsic attributes of bias-aligned samples by swapping their latent features. By utilizing these diversified bias-conflicting features during the training, our approach achieves superior classification accuracy and debiasing results against the existing baselines on synthetic and real-world datasets.

연구 동기 및 목표

• debiasing 및 일반화를 향상시키기 위해 다양한 편향 충돌 샘플의 필요성 제시.
• Intrinsic(고유 특성) 및 bias 속성에 대한 분리된 잠재 표현 제안.
• 다양한 편향 충돌 샘플을 합성하기 위한 특징 교환 증강 메커니즘 개발.
• 분리 진행 상태 이후 증강을 적용하는 스케줄링 전략 도입.
• 기준 모델 대비 합성 및 실제 biased 데이터셋에서의 실험적 검증.

제안 방법

• 이미지 표현을 intrinsic(z_i)과 bias(z_b) 잠재 벡터로 나누는 두 개의 인코더를 학습한다.
• z_i와 z_b에서 라벨을 각각 예측하는 선형 분류기를 사용하고 bias 충돌 샘플을 강조하는 공동 손실을 적용한다.
• bias 충돌 샘플을 식별하고 intrinsic 속성 학습(L_dis)을 주도하기 위해 상대적 난이도 가중치 W(z)를 계산한다.
• 샘플 간 잠재 구성요소를 교환하여 bias 충돌 증강 특성(L_swap))을 생성한다(예: z_swap = [z_i; swapped z_b]).
• 부분 분리에 따른 초기 노이즈를 피하기 위해 증강을 부분 분리 뒤에 시작하는 스케줄링( 알고리즘 워크플로우).
• Colored MNIST, Corrupted CIFAR-10, Biased FFHQ(BFFHQ)에서 baselines 대비 평가.

실험 결과

연구 질문

• RQ1 다양한 편향 충돌 샘플이 학습 세트 이외에 디바이어싱 성능을 향상시킬 수 있는가?
• RQ2 intrinsic과 bias 속성의 분리가 디바이스 공간에서의 효과적인 증강을 가능케 하는가?
• RQ3 증강 스케줄링이 디바이어싱 성능에 미치는 영향은 무엇인가?
• RQ4 제안된 방법이 합성 편향 및 실제 세계의 편향에 대해 편향-전용 및 편향-비전용 baselines와 비교하여 어떤 성능을 보이는가?

주요 결과

• 다양한 편향 충돌 샘플이 데이터 세트 전반에서 디바이어싱 성능을 크게 향상시킨다.
• 분리된 잠재 표현이 특징 교환을 통해 다양한 편향 충돌 샘플의 효과적인 생성을 가능하게 한다.
• 부분 분리 이후에 수행된 일정한 증강이 모든 실험에서 가장 우수한 편향 없이의 테스트 정확도를 낳았다.
• 제안된 방법은 Colored MNIST, Corrupted CIFAR-10, Biased FFHQ에서 bias-명시적 및 bias-무관한 baselines보다 우수한 성능을 보였다.
• Colored MNIST에서 편향 유형 정의 없이도 여러 기준선 대비 더 높은 테스트 정확도에 도달한다.