[논문 리뷰] On the Fairness of Disentangled Representations

Francesco Locatello, Gabriele Abbati외 4명|arXiv (Cornell University)|2019. 05. 31.

Adversarial Robustness in Machine Learning참고 문헌 94인용 수 8

한 줄 요약

이 논문은 민감한 속성이 관찰되지 않을 때 분리된 표현이 후행 예측 작업에서 공정성 향상에 기여하는지 조사한다. 12,600개 이상의 모델을 대상으로 한 분석에서, 특히 DCI 점수로 측정된 높은 분리도가 일관되게 불공정성을 감소시키는 것으로 나타나, 분리도가 공정한 표현 학습을 위한 실용적인 인덕티브 바이어스가 될 수 있음을 시사한다.

ABSTRACT

Recently there has been a significant interest in learning disentangled representations, as they promise increased interpretability, generalization to unseen scenarios and faster learning on downstream tasks. In this paper, we investigate the usefulness of different notions of disentanglement for improving the fairness of downstream prediction tasks based on representations. We consider the setting where the goal is to predict a target variable based on the learned representation of high-dimensional observations (such as images) that depend on both the target variable and an \emph{unobserved} sensitive variable. We show that in this setting both the optimal and empirical predictions can be unfair, even if the target variable and the sensitive variable are independent. Analyzing the representations of more than um{12600} trained state-of-the-art disentangled models, we observe that several disentanglement scores are consistently correlated with increased fairness, suggesting that disentanglement may be a useful property to encourage fairness when sensitive variables are not observed.

연구 동기 및 목표

• 민감한 변수가 관찰되지 않을 때 분리된 표현이 후행 예측 작업에서 공정성 향상에 기여하는지 조사하기.
• 목표 변수와 민감한 변수가 독립일지라도 최적 또는 경험적 예측이 불공정할 수 있는지 분석하기.
• 다양한 데이터셋에서 최신 분리된 표현에 기반한 후행 모델의 공정성 평가하기.
• 분리도 점수와 공정성 간의 관계, 특히 민감성 평등 제약 조건 하에서의 관계 분석하기.
• 분리도가 후행 정확도를 저하시키지 않으면서도 공정성 향상에 기여하는지 평가하기.

제안 방법

• 저자들은 일곱 개의 데이터셋에서 12,600개 이상의 최신 분리된 모델의 표현을 분석한다.
• 민감한 그룹 간 예측의 공정성을 측정함으로써 후행 공정성은 민감성 평등 기준으로 평가한다.
• 분리도는 DCI 분리도 점수, Factor-VAE 등을 포함한 여섯 가지 기존 메트릭을 사용해 정량화한다.
• 다양한 분리도 수준을 가진 표현에 기반한 후행 분류기의 공정성 비교 분석을 수행한다.
• 분리도 점수와 공정성 간 상관관계를 후행 정확도를 제어한 상태에서 통계 분석한다.
• 이론적 분석을 통해 민감한 변수와 목표 변수가 관찰에서 뒤섞여 있을 경우 베이즈 최적 분류기조차도 불공정할 수 있음을 밝힌다.

실험 결과

연구 질문

• RQ1 민감한 속성이 관찰되지 않을 때 분리된 표현이 후행 예측 작업에서 불공정성을 줄일 수 있는가?
• RQ2 다양한 데이터셋과 모델에서 분리도 점수와 공정성 간 일관된 상관관계가 존재하는가?
• RQ3 분리도가 증가함에 따라 공정성은 향상되며 동시에 후행 예측 정확도는 떨어지지 않는가?
• RQ4 민감한 속성이 학습 중에 레이블링되지 않은 상태에서 표현 학습만으로도 공정성이 향상될 수 있는가?
• RQ5 분리도 메트릭 선택이 후행 공정성 결과에 어떤 영향을 미치는가?

주요 결과

• 목표 변수와 민감한 변수가 독립일지라도 관찰에서의 뒤섞임으로 인해 후행 예측이 불공정해질 수 있다.
• DCI 분리도 점수는 평가된 모든 데이터셋에서 향상된 공정성과 강력하고 일관된 상관관계를 보였다.
• 12,600개 이상의 분리된 모델을 평가한 결과, 사용된 표현에 따라 공정성에 상당한 변동성이 존재했다.
• 후행 예측 정확도를 제어한 상태에서도 분리도와 공정성 간 상관관계가 유지되었다.
• 분리도는 공정성 향상에 유용한 인덕티브 바이어스로 기능하는 것 같으며, 공정한 표현 학습에서 그 역할에 대한 이론적 추측을 뒷받침한다.
• 결과는 분리도가 민감한 속성에 대한 간접적 정보 유출을 완화하는 데 도움이 될 수 있으며, 이러한 속성에 대한 명시적 지도 없이도 효과적일 수 있음을 시사한다.