[논문 리뷰] Learning Debiased Classifier with Biased Committee

Nayeong Kim, Sehyun Hwang외 3명|arXiv (Cornell University)|2022. 06. 22.

Machine Learning and Data Classification인용 수 13

한 줄 요약

이 논문은 학습 중에 잠재적 속성과 클래스 간의 유사 상관관계로 인한 모델 편향 문제를 해결하기 위해, 편향된 분류기의 부트스트랩된 앙상블을 활용하여 편향 충돌 샘플(임의의 상관관계 위반)을 공감대를 통해 식별하고, 이를 강화하여 학습하는 '편향된 위원회를 통한 학습(LWBC)'을 제안한다. 이 방법은 유사 속성 레이블이 없는 상황에서도 다섯 개인 실세계 데이터셋에서 이전 최고 성능 기준으로 평균 8.2% 향상된 최악의 그룹 정확도를 달성하며, 주 분류기와 지식 정복을 통한 위원회를 동시에 훈련시켜 점진적인 편향 제거를 실현한다.

ABSTRACT

Neural networks are prone to be biased towards spurious correlations between classes and latent attributes exhibited in a major portion of training data, which ruins their generalization capability. We propose a new method for training debiased classifiers with no spurious attribute label. The key idea is to employ a committee of classifiers as an auxiliary module that identifies bias-conflicting data, i.e., data without spurious correlation, and assigns large weights to them when training the main classifier. The committee is learned as a bootstrapped ensemble so that a majority of its classifiers are biased as well as being diverse, and intentionally fail to predict classes of bias-conflicting data accordingly. The consensus within the committee on prediction difficulty thus provides a reliable cue for identifying and weighting bias-conflicting data. Moreover, the committee is also trained with knowledge transferred from the main classifier so that it gradually becomes debiased along with the main classifier and emphasizes more difficult data as training progresses. On five real-world datasets, our method outperforms prior arts using no spurious attribute label like ours and even surpasses those relying on bias labels occasionally.

연구 동기 및 목표

• 학습 데이터 내 클래스와 잠재적 속성 간의 유사 상관관계로 인한 딥 러닝 모델의 편향 문제를 해결하기 위해.
• 비용이 많이 들고 실용적이지 않은 유사 속성 레이블을 필요로 하지 않는 편향 제거 방법을 개발하기 위해.
• 단일 편향 분류기 기반 접근법에 비해 편향 충돌 샘플을 더 신뢰성 있게 식별할 수 있는 정확도와 신뢰성을 향상시키기 위해.
• 훈련 과정에서 주 분류기의 로그를 기반으로 지식 정복을 통해 보조 위원회가 점진적으로 편향을 제거할 수 있도록 하기 위해.

제안 방법

• 모든 분류기가 훈련 데이터의 무작위 부분집합으로 훈련되어 다양성과 내재된 편향을 확보하는 부트스트랩된 분류기 앙상블을 위원회로 활용한다.
• 위원회 내 예측 어려움의 공감대를 활용해 편향 충돌 샘플을 식별하고, 학습된 가중치 함수를 통해 높은 학습 가중치를 할당한다.
• 주 분류기의 로그에서 유도된 지식 정복을 통해 위원회를 훈련시어 점차적으로 편향이 줄어들고 더 어려운, 더 모호한 샘플에 집중하도록 유도한다.
• 위원회의 공감대를 기반으로 클래스 조건부 가중치를 적용하여 주 분류기를 훈련시켜, 위원회가 어려움을 느끼는 샘플에 초점을 맞춘다.
• 일반화 성능 향상과 강력한 베이스라인 제공을 위해 자기지도 학습 기반 표현 학습을 특징 추출기로 사용한다.

실험 결과

연구 질문

• RQ1 편향된 분류기의 위원회가 단일 편향 분류기보다 더 신뢰성 있는 편향 충돌 샘플 식별을 가능하게 하는가?
• RQ2 주 분류기에서 유도된 지식 정복이 위원회의 편향 제거 성능에 어떤 영향을 미치는가?
• RQ3 부트스트랩된 앙상블을 사용함으로써 보조 모듈의 하이퍼파라미터 및 초기화 값 변동에 대한 강건성이 향상되는가?
• RQ4 자기지도 학습 기반 표현 학습이 추가적인 감독 없이 편향 제거 성능을 얼마나 향상시킬 수 있는가?

주요 결과

• LWBC는 다섯 개인 실세계 데이터셋에서 이전 최고 성능 기준으로 최악의 그룹 정확도를 달성하며, 유사 속성 레이블에 의존하는 이전 방법들을 능가한다.
• 유사 속성 레이블에 접근할 수 없는 상황에서도 LWBC는 이전 최고 성능 대비 평균 8.2% 향상된 최악의 그룹 정확도를 확보한다.
• 절단 분석 결과, 지식 정복을 통한 편향된 분류기 위원회를 사용할 경우 단일 편향 분류기 기반 베이스라인 대비 최악의 그룹 정확도가 평균 5.1% 향상됨을 확인하였다.
• 지식 정복을 적용할 경우 위원회의 정확도가 주 분류기의 정확도와 함께 증가함을 관찰하여 점진적인 편향 제거가 이루어지고 있음을 확인하였다.
• 이 방법은 예를 들어 BAR 데이터셋에서 스노클링과 플랫폼 점프의 이미지를 식별하는 데서도 편향 속성의 어려움에 따라 세밀한 샘플 가중치를 적용함을 보였다.