[논문 리뷰] Is Fairness Only Metric Deep? Evaluating and Addressing Subgroup Gaps in Deep Metric Learning

Natalie Dullerud, Karsten Roth외 3명|arXiv (Cornell University)|2022. 03. 23.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 recall@k, 정렬도, 균일도를 사용하여 표현 공간에서의 하위군 갭을 측정함으로써 딥 메트릭 러닝(DML)의 공정성 평가를 위한 finDML 벤치마크를 소개한다. PARADE는 민감한 특성에서 특징 표현을 상관관계 없애는 방법으로, 불균형한 업스트림 학습 데이터에도 불구하고 최종 작업에서 하위군 성능 갭을 최대 2% 감소시킨다.

ABSTRACT

Deep metric learning (DML) enables learning with less supervision through its emphasis on the similarity structure of representations. There has been much work on improving generalization of DML in settings like zero-shot retrieval, but little is known about its implications for fairness. In this paper, we are the first to evaluate state-of-the-art DML methods trained on imbalanced data, and to show the negative impact these representations have on minority subgroup performance when used for downstream tasks. In this work, we first define fairness in DML through an analysis of three properties of the representation space -- inter-class alignment, intra-class alignment, and uniformity -- and propose finDML, the fairness in non-balanced DML benchmark to characterize representation fairness. Utilizing finDML, we find bias in DML representations to propagate to common downstream classification tasks. Surprisingly, this bias is propagated even when training data in the downstream task is re-balanced. To address this problem, we present Partial Attribute De-correlation (PARADE) to de-correlate feature representations from sensitive attributes and reduce performance gaps between subgroups in both embedding space and downstream metrics.

연구 동기 및 목표

• 불균형 데이터로 훈련된 딥 메트릭 러닝(DML)에서 공정성 격차를 특정하고 정량화하는 것.
• 보호되는 특성에 따라 표현 품질을 평가할 수 있는 DML에서 하위군 공정성에 대한 벤치마크를 수립하는 것.
• 업스트림 임베딩이 편향되어 있다면, 재균형화된 데이터로도 최종 공정성이 회복되지 않는다는 것을 보여주는 것.
• 클래스 구분 특징에서 민감한 특성을 분리함으로써 공정성을 향상시키는 새로운 방법인 PARADE를 제안하는 것.

제안 방법

• 다섯 개인 데이터셋(CARS196, CUB200, CelebA, LFW)을 사용하여 유도된 데이터 불균형을 포함하는 finDML을 제안하여 DML의 공정성을 평가하는 벤치마크를 제공한다.
• 세 가지 공정성 메트릭을 정의한다: recall@k(군집 성능), 정렬도(클래스 간 유사도), 하위군 균일도(클래스 내 밀도)를 하위군 간에 평가한다.
• PARADE를 도입한다. 이는 학습 시간에 두 가지 임베딩을 학습하는 방법으로, 하나는 클래스 유사도를 위한 것이고, 다른 하나는 민감한 특성 유사도를 위한 것이며, 이를 가중치 손실를 통해 상관관계를 제거한다.
• 이중 헤드 아키텍처를 사용하여 테스트 시간에 민감한 특성 임베딩을 제거함으로써, 최종 클래스 임베딩이 보호되는 특성에 대해 불변이 되도록 보장한다.
• 최악의 그룹 성능을 기반으로 하이퍼파라미터(α_SA, ρ)를 그리드 서치를 통해 최적화하여 공정성을 극대화한다.
• PARADE를 학습 중에 통합하기 위해 표준 DML 손실(예: 트리플릿, 콘트라스트, ArcFace)을 수정하여 사용한다.

실험 결과

연구 질문

• RQ1 불균형 데이터로 훈련된 다양한 최신 DML 방법에서 하위군 성능 갭은 어떻게 변화하는가?
• RQ2 업스트림 임베딩이 편향되어 있다면, 재균형화된 학습 데이터로도 최종 공정성이 회복될 수 있는가?
• RQ3 민감한 특성에서 특징 표현을 상관관계 없애는 것이 업스트림 및 다운스트림 작업 모두에서 하위군 갭을 줄일 수 있는가?
• RQ4 제안된 공정성 메트릭(recall@k, 정렬도, 균일도)은 DML에서 하위군 공정성을 얼마나 잘 반영하는가?

주요 결과

• 불균형 데이터로 훈련했을 때 DML 표현에서 하위군 갭은 업스트림 작업에서 최대 21%까지, 다운스트림 분류 작업에서 최대 45.9%까지 증가한다.
• 다운스트림 분류기가 균형 잡힌 데이터로 훈련되어도, 업스트림 임베딩의 편향으로 인해 성능 갭이 지속된다.
• PARADE는 최신 SOTA DML 방법 전반에서 다운스트림 메트릭에서 하위군 갭을 최대 2%까지 감소시켜 효과성을 입증한다.
• 벤치마크인 finDML은 다양한 DML 방법과 데이터셋에서 공정성 격차를 성공적으로 식별하여 광범위한 편향 전파를 드러낸다.
• PARADE를 통해 클래스 구분 특징에서 민감한 특성을 분리함으로써 성능 저하 없이 측정 가능한 공정성 향상이 이루어진다.