[논문 리뷰] Feature and Label Embedding Spaces Matter in Addressing Image Classifier Bias

William Thong, Cees G. M. Snoek|arXiv (Cornell University)|2021. 10. 27.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 이미지 분류기의 편향을 완화하기 위해 이중 공간 접근법을 제안한다. 특성 공간에서 편향 방향을 식별하고, 각 보호 속성 값에 맞는 고유한 레이블 임베딩 헤드를 도입함으로써 편향을 줄인다. 특성 공간에서의 PCA 기반 편향 제거와 보호된 레이블 임베딩에 대한 코사인 소프트맥스 교차 엔트로피 손실을 조합함으로써, 다중 클래스, 다중 레이블, 이진 분류 벤치마크에서 분류 정확도를 희생시키지 않고도 공정성을 향상시킨다.

ABSTRACT

This paper strives to address image classifier bias, with a focus on both feature and label embedding spaces. Previous works have shown that spurious correlations from protected attributes, such as age, gender, or skin tone, can cause adverse decisions. To balance potential harms, there is a growing need to identify and mitigate image classifier bias. First, we identify in the feature space a bias direction. We compute class prototypes of each protected attribute value for every class, and reveal an existing subspace that captures the maximum variance of the bias. Second, we mitigate biases by mapping image inputs to label embedding spaces. Each value of the protected attribute has its projection head where classes are embedded through a latent vector representation rather than a common one-hot encoding. Once trained, we further reduce in the feature space the bias effect by removing its direction. Evaluation on biased image datasets, for multi-class, multi-label and binary classifications, shows the effectiveness of tackling both feature and label embedding spaces in improving the fairness of the classifier predictions, while preserving classification performance.

연구 동기 및 목표

• 보호된 속성의 클래스 프로토타입을 사용하여 이미지 분류기의 특성 공간에서 지배적인 편향 방향을 식별한다.
• 표준 원핫 인코딩을 사용하는 대신, 각 보호된 속성 값에 맞는 고유한 레이블 임베딩을 학습하여 편향을 완화한다.
• 특히 편향이 있는 실제 세계 데이터셋에서 성능 저하 없이 이미지 분류의 공정성을 향상시킨다.
• 다중 클래스, 다중 레이블, 이진 분류 작업에서 특성 공간과 레이블 임베딩 공간을 동시에 다루는 방법의 효과를 평가한다.

제안 방법

• 각 보호된 속성 값에 대한 클래스 프로토타입을 계산하고, 주성분분석(PCA)을 사용하여 특성 공간 내에서 주요 편향 방향을 식별한다.
• 각 보호된 속성 값에 대해 별도의 투영 헤드(보호된 분류 헤드)를 도입하여 특성을 고유한 레이블 임베딩 공간으로 매핑한다.
• 보호된 레이블 임베딩 구조에 기반하여 다중 클래스, 다중 레이블, 이진 분류를 지원하는 코사인 소프트맥스 교차 엔트로피 손실을 사용해 모델을 훈련한다.
• 훈련 후 특성 공간에서 식별된 편향 방향의 수직보완 공간에 특성을 투영하여 편향 제거 작업을 수행한다.
• 백본 네트워크로 ResNet18을 사용하고, SGD로 미세조정하며, 학습률 0.1, 모멘터늄 0.9, 배치 크기 128을 적용한다.
• 사전 훈련된 ImageNet 특성을 활용하고, 손실 함수에 온도 스케일링(0.1)을 적용하여 훈련을 안정화시킨다.

실험 결과

연구 질문

• RQ1 특성 공간에서 보호된 속성 값 간의 차이에 대한 제1주성분이 보호된 속성 값 전반의 편향 분산을 최대한 설명하는 공통의 편향 방향을 식별할 수 있는가?
• RQ2 표준 원핫 인코딩과 비교해 각 보호된 속성 값에 맞는 레이블 임베딩을 학습하는 것이 이미지 분류에서 공정성을 향상시키는가?
• RQ3 특성 공간에서 식별된 편향 방향을 제거하면 예측의 편향이 얼마나 더 감소하는가?
• RQ4 편향을 무시하는 방법(Fairness-through-Blindness)과 비교해, 제안된 방법이 편향이 있는 이미지 데이터셋에서 공정성과 정확도 측면에서 어떻게 성능을 내는가?

주요 결과

• 보호된 클래스 프로토타입 간의 차이에 대한 제1주성분이 특성 공간에서 지배적인 편향 방향을 나타내며, 편향의 최대 분산을 설명한다.
• 보호된 레이블 임베딩 헤드를 사용한 제안된 방법은 성별 예측에 대해 IMDB 얼굴 데이터셋에서 83.65%의 테스트 정확도를 달성하여 베이스라인 및 이전 방법을 초월한다.
• 나이 예측(성별 보호)에서는 73.08%의 테스트 정확도를 기록하여, 베이스라인 및 적대적 베이스라인을 크게 앞서며 성능을 높였다.
• 보호된 레이블 임베딩과 특성 공간에서의 훈련 후 편향 제거를 조합하면 모든 벤치마크에서 가장 높은 공정성 점수를 기록했으며, 편향 무시 방법 대비 10–15% 향상되었다.
• 모델은 편향을 줄이면서도 높은 분류 성능를 유지하였으며, 특성 공간과 레이블 공간을 동시에 모델링하는 것이 단지 하나의 공간만 다루는 것보다 더 효과적임을 입증했다.