[논문 리뷰] The Variational Fair Autoencoder

Christos Louizos, Kevin Swersky외 3명|UvA-DARE (University of Amsterdam)|2015. 11. 03.

Ethics and Social Impacts of AI인용 수 179

한 줄 요약

변분 편의 자동에코더(Variational Fair Autoencoder, VFAE)는 변분 자동에코더(VAE)와 최대 평균 차이(MMD) 페널티를 조합하여 민감한 요소(예: 성별, 조명)와 잠재 표현 간의 종속성을 제거함으로써 분리된, 불변하는 표현을 학습한다. 이는 공정한 표현 학습 및 도메인 적응 분야에서 최신 기술 수준의 성능을 달성하며, Extended Yale B 데이터셋에서 민감한 속성 정확도를 96%에서 50%로 감소시키면서도 분류 정확도를 78%에서 85%로 향상시켰다.

ABSTRACT

We investigate the problem of learning representations that are invariant to certain nuisance or sensitive factors of variation in the data while retaining as much of the remaining information as possible. Our model is based on a variational autoencoding architecture with priors that encourage independence between sensitive and latent factors of variation. Any subsequent processing, such as classification, can then be performed on this purged latent representation. To remove any remaining dependencies we incorporate an additional penalty term based on the "Maximum Mean Discrepancy" (MMD) measure. We discuss how these architectures can be efficiently trained on data and show in experiments that this method is more effective than previous work in removing unwanted sources of variation while maintaining informative latent representations.

연구 동기 및 목표

• 데이터 내 알려진 혼란 요인 또는 민감한 변동 요인에 대해 불변하는 분리된 잠재 표현을 학습하는 것.
• 이전의 공정한 표현 학습 방법에서 클러스터링에 의존하거나 고차원 모멘트 종속성을 페널티로 처리하지 못하는 한계를 해결하는 것.
• 민감한 속성에 대한 정보를 제거하면서도 임무 관련 정보를 유지함으로써 분류 작업의 일반화 성능을 향상시키는 것.
• 요소별 사전 분포와 MMD 기반 사후 정렬을 통해 이원 정규화 전략을 변분 자동에코더에 통합하여 불변성을 강제하는 것.
• 공정한 표현 학습과 도메인 적응 모두에서 효과성을 입증하고, 기존 방법보다 정확도-불변성 트레이드오프에서 뛰어난 성능을 보이는 것.

제안 방법

• 잠재 코드 z와 민감 변수 s 간의 조건부 독립성을 유도하기 위해 요소별 사전 분포 p(z)p(s)를 사용하는 깊이 있는 변분 자동에코더 아키텍처를 사용한다.
• 에코더 qϕ(z|x,s)는 사후 분포와 사전 분포 간의 KL 발산을 최소화함으로써 s에 조건부 독립적인 사후 분포를 생성하도록 훈련된다.
• 민감 변수 s의 모든 값 k에 대해 qϕ(z|s=k)의 전체 사후 분포 간 차이를 최소화하기 위해 MMD 페널티를 적용하며, 이는 잠재 분포의 모든 모멘트를 대상으로 한다.
• 표준 VAE의 ELBO와 MMD 정규화 항을 조합한 목적 함수를 사용하여 표현 품질과 불변성을 동시에 최적화한다.
• SGVB(재정의) 기반 경사수치 추정기를 사용하여 VAE와 MMD 구성 요소를 모두 미분 가능하게 최적화함으로써 엔드 투 엔드 훈련을 수행한다.
• 비지도 및 준지도 학습 모두를 지원하며, 후자의 경우 표현 학습과 하류 분류 작업을 함께 최적화할 수 있다.

실험 결과

연구 질문

• RQ1 민감하거나 혼란스러운 요인의 변동에 대해 불변하는 표현을 학습하기 위해 변분 자동에코더를 효과적으로 확장할 수 있는가?
• RQ2 단순한 평균 수준의 정렬을 넘어서, 민감한 속성과 잠재 표현 간의 고차원 통계적 종속성을 어떻게 제거할 수 있는가?
• RQ3 요소별 사전 분포와 MMD 정규화를 결합하면, 단일 정규화 형태만을 사용하는 이전 방법보다 더 나은 분리성과 불변성을 달성할 수 있는가?
• RQ4 이러한 모델이 하류 분류 작업에서 공정성과 일반화 성능을 어느 정도 향상시킬 수 있는가?
• RQ5 도메인 적응을 위한 불변 표현 학습에서, VFAE는 적대적 및 도메인 정규화 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• Extended Yale B 데이터셋에서 VFAE는 조명과 같은 민감한 속성(조명)의 분류 정확도를 96%에서 약 50%로 감소시켜 불필요한 변동의 강력한 제거를 보여주었다.
• 동일한 모델은 신원 레이블에 대한 분류 정확도를 78%에서 85%로 향상시켜, 혼란 요인을 제거한 후 임무 성능 향상을 입증하였다.
• VFAE는 NN + MMD 베이스라인(동일 작업에서 82% 정확도 기록)보다 더 나은 정확도-불변성 트레이드오프를 달성하였다.
• t-SNE 시각화 결과, VFAE 처리 후 데이터 포인트는 주로 신원(y)에 따라 군집되고 조명(s)에 따라 군집되지 않아, 성공적인 분리가 이루어졌음을 확인하였다.
• 클러스터링 기반 페널티가 포착하지 못하는 고차원 모멘트 누출 문제를 해결함으로써, 이전의 공정한 표현 학습 방법보다 뛰어난 성능을 보였다.
• 적대적 도메인 적응 방법과 비교해도 경쟁적인 성능을 보이며, 불변 표현 학습의 효과성을 입증하였다.