[논문 리뷰] Flexibly Fair Representation Learning by Disentanglement

Elliot Creager, David Madras외 5명|arXiv (Cornell University)|2019. 06. 06.

Ethics and Social Impacts of AI인용 수 134

한 줄 요약

논문은 FFVAE를 소개합니다. 이 변분 오토인코더는 여러 민감 속성과 그 결합에 대해 해석 가능하고 예측력 있는 잠재 요인을 학습하며, 추론 시 민감 속성이 필요 없이 속성-독립적 공정성 적응을 테스트 시점에 가능하게 합니다. 합성 및 실제 데이터셋에서 민감한 잠재 차원을 유연하게 제거하거나 노이즈 처리함으로써 공정한 분류 성능을 향상시킵니다.

ABSTRACT

We consider the problem of learning representations that achieve group and subgroup fairness with respect to multiple sensitive attributes. Taking inspiration from the disentangled representation learning literature, we propose an algorithm for learning compact representations of datasets that are useful for reconstruction and prediction, but are also \emph{flexibly fair}, meaning they can be easily modified at test time to achieve subgroup demographic parity with respect to multiple sensitive attributes and their conjunctions. We show empirically that the resulting encoder---which does not require the sensitive attributes for inference---enables the adaptation of a single representation to a variety of fair classification tasks with new target labels and subgroup definitions.

연구 동기 및 목표

• 여러 민감 속성과 그 교집합을 처리할 수 있는 공정한 표현 학습을 동기화한다.
• 민감 속성에 예측력이 있으면서 비민감 요인과 해석 가능한 잠재 표현을 학습한다.
• 작업과 레이블 전반에서 하위집단의 인구통계적 평등을 달성하기 위한 쉬운 구성 가능한 테스트 시 수정 방법을 제공한다.
• 민감 속성을 구조화 공간으로 활용하고 테스트 시 공정성 조정을 가능하게 하는 VAE 기반 방법을 제공한다.

제안 방법

• 비민감 z와 민감 b 차원을 구분하는 해석 가능한 다층 잠재 공간으로 VAE를 확장한다.
• 비민감 재구성 및 민감 속성 예측을 모델링하기 위해 factorized decoder p(x|z,b)와 p(a|b)를 사용한다.
• 총 상관 페널티와 b를 a와 연결하는 예측자 페널티를 통해 해석 가능성을 제약하고, 하이퍼파라미터 alpha와 gamma로 제어한다.
• 안정성을 위해 x에서 q(z|x)와 q(b|x)로 학습하되 b는 비확률적(non-stochastic)으로 처리한다.
• 테스트 시 선택된 b 차원을 제거하거나 노이즈 처리하여 민감한 그룹과 무관한 [z,b′] 공정 표현을 얻을 수 있다.
• 공정성 목적 함수 L_FFVAE는 재구성, 예측성, 해석 가능성, 사전 일치를 결합한 항을 포함한다; gamma는 총 상관 적대를 가중하고; alpha는 예측성을 가중한다.]
• 테스트 시 민감 속성 필요 없이 inference에서 민감 속성 없이도 공정한 적응을 가능하게 한다.

(a) $a$ = Scale

실험 결과

연구 질문

• RQ1 한 개의 학습된 표현으로 테스트 시점에 여러 민감 속성과 그 교집합에 대해 유연하게 공정해질 수 있는가?

주요 결과

• FFVAE는 추론 시 민감 속성이 필요하지 않고 테스트 시점에 공정한 적응을 가능하게 한다.
• 예측력 가중치 alpha를 높이면 해석 가능성과 해당 민감 속성과의 잠재 요인 정렬 능력이 함께 향상된다.
• FFVAE는 DSpritesUnfair 합성 데이터셋에서 베이스라인보다 공정-정확도 트레이드오프가 더 나으며 특히 속성의 교집합에서 우수하다.
• Communities & Crime 및 Celeb-A에서 FFVAE는 경쟁력 있는 공정-정확도 성능을 달성하고 여러 하위집단 정의에 걸쳐 강건함을 보여준다.
• 민감 속성과 레이블 간 상관관계가 있는 실제 데이터에서도 이 방법은 효과적이며 도전적인 시나리오에서도 견고함을 보인다.

(b) $a$ = Shape