[논문 리뷰] Learning De-biased Representations with Biased Representations

Hyojin Bahng, Sanghyuk Chun외 3명|arXiv (Cornell University)|2019. 10. 07.

Machine Learning and Data Classification인용 수 100

한 줄 요약

본 논문은 ReBias라는 정규화 기법을 제안합니다. ReBias는 학습된 표현이 바이어스 주도 표현 집합으로부터 통계적으로 독립이 되도록 강제하여 명시적 바이어스 라벨이 필요 없이도 교차 바이어스 일반화를 개선합니다.

ABSTRACT

Many machine learning algorithms are trained and evaluated by splitting data from a single source into training and test sets. While such focus on in-distribution learning scenarios has led to interesting advancement, it has not been able to tell if models are relying on dataset biases as shortcuts for successful prediction (e.g., using snow cues for recognising snowmobiles), resulting in biased models that fail to generalise when the bias shifts to a different class. The cross-bias generalisation problem has been addressed by de-biasing training data through augmentation or re-sampling, which are often prohibitive due to the data collection cost (e.g., collecting images of a snowmobile on a desert) and the difficulty of quantifying or expressing biases in the first place. In this work, we propose a novel framework to train a de-biased representation by encouraging it to be different from a set of representations that are biased by design. This tactic is feasible in many scenarios where it is much easier to define a set of biased representations than to define and quantify bias. We demonstrate the efficacy of our method across a variety of synthetic and real-world biases; our experiments show that the method discourages models from taking bias shortcuts, resulting in improved generalisation. Source code is available at https://github.com/clovaai/rebias.

연구 동기 및 목표

• 교차 바이어스 일반화를 정의하고 모델이 학습 데이터에서 지름길 바이어스에 의존하는 이유를 동기 부여한다.
• 명시적 바이어스 라벨 없이 바이어스를 포착하기 위한 바이어스 특성 모델 클래스 G를 도입한다.
• 주된 예측기와 바이어스 예측기 간의 독립성을 강제하기 위해 HSIC를 사용하는 ReBias 정규화를 제안한다.
• 작업 손실과 디바이어싱을 최대-HSIC/최소화 프레임워크를 통해 공동으로 최적화하는 학습 목표를 제공한다.
• 합성 및 실제 세계 바이어스(Biased MNIST, ImageNet, 행동 인식)에서 방법을 실증한다.

제안 방법

• 바이어스를 설계상 포착하는 바이어스 특성 모델 클래스 G를 정의한다(예: 질감 바이어스를 위한 작은 receptive field의 CNN, 정적 바이어스를 위한 2D CNN 등).
• 주 예측기 f(X)와 G에 속한 바이어스 예측기 g(X) 간의 HSIC 기반 독립성을 구성한다.
• f를 바이어스 예측으로부터 멀어지게 만들기 위한 미니맥스 유사 목적함수를 사용한다: L(f,X,Y) 최소화 + lambda * max_{g in G} HSIC(f(X), g(X)) + 바이어스 모델을 정규화하기 위한 추가 항: max_{g in G} (HSIC(f,g) - lambda_g L(g)).
• f가 신호 S를 학습하고 바이어스 B를 학습하지 않도록 교대로 f와 g를 학습한다.
• 명시적 바이어스 라벨을 사용할 수 없지만 바이어스가 G로 포착될 수 있는 설정에 ReBias를 적용하여 데이터 증강이나 명시적 바이어스 정량화 없이 디바이어싱을 가능하게 한다.

실험 결과

연구 질문

• RQ1 명시적 바이어스 라벨 없이 바이어스 특성 모델 클래스 G를 사용하여 디바이어싱 목표를 형식화할 수 있는가?
• RQ2 주 모델과 바이어스 모델 간의 독립성을 촉진하는 것이 질감, 정적 및 기타 바이어스 전반에서 교차 바이어스 일반화를 향상시키는가?
• RQ3 HSIC 기반 정규화가 학습된 f의 바이어스가 있는 대응들에 비해 불변성에 어떤 영향을 미치는가?
• RQ4 ReBias가 합성(편향된 MNIST) 및 실제 세계의 바이어스(ImageNet, 행동 인식)에서 기존의 디바이어싱 방법과 비교해 효과적인가?

주요 결과

• ReBias는 Biased MNIST의 매우 편향된 학습 시나리오에서 편향되지 않은 정확도를 향상시키고, 편향된 성능에서의 초기 기준선보다 현저히 높은 편향되지 않은 성능을 달성한다.
• HEX 및 RUBi와 비교할 때, ReBias는 바이어스-클래스 쌍 전체에 걸쳐 더 균일한 개선을 달성하고 실험에서 더 나은 편향되지 않은 일반화를 보여준다.
• ImageNet 실험에서 ReBias는 질감 편향 없는 지표 및 보조 벤치마크(ImageNet-A, ImageNet-C)로 평가한 바와 같이 기준선 및 일부 기존 접근법에 비해 교차 바이어스 강인성이 향상되었음을 보인다.
• 학습 곡선은 HSIC가 감소할수록 편향되지 않은 정확도가 향상되는 강한 상관관계를 보여 주며, 이 정규화기가 편향에 강 robust한 표현을 촉진한다는 것을 시사한다.
• 이 방법은 명시적 바이어스 라벨이 필요하지 않으며, 합리적 단서를 포착하는 바이어스 특성 모델 클래스 G에 의존하므로 행동 인식 및 이미지 분류와 같은 비전 과제에 적용 가능하다.