[논문 리뷰] Hierarchical VampPrior Variational Fair Auto-Encoder

Philip Botros, Jakub M. Tomczak|arXiv (Cornell University)|2018. 06. 26.

Ethics and Social Impacts of AI참고 문헌 14인용 수 7

한 줄 요약

이 논문은 잠재 공간 최적화를 안정화하고 상호정보량(MI)을 정규화 항으로 사용하여 공정한 표현 학습을 향상시키기 위해 VampPrior를 통합한 계층적 VampPrior 변분 공정 오토인코더(H-VFAE)를 제안한다. 모델은 민감 변수가 완전히 관측되었을 때와 부분적으로 관측되었을 때 모두 기준 모델인 VFAE를 능가하며, 민감 변수가 부분적으로 관측될 경우 MI 정규화가 더 우수한 성능을 보인다.

ABSTRACT

Decision making is a process that is extremely prone to different biases. In this paper we consider learning fair representations that aim at removing nuisance (sensitive) information from the decision process. For this purpose, we propose to use deep generative modeling and adapt a hierarchical Variational Auto-Encoder to learn these fair representations. Moreover, we utilize the mutual information as a useful regularizer for enforcing fairness of a representation. In experiments on two benchmark datasets and two scenarios where the sensitive variables are fully and partially observable, we show that the proposed approach either outperforms or performs on par with the current best model.

연구 동기 및 목표

• 민감한 속성에 대해 불변인 표현을 학습하여 기계 학습에서의 편향을 해결하기 위해.
• 민감 변수가 부분적으로 관측될 경우에도 공정한 표현 학습을 위한 딥 생성 모델링을 향상시키기 위해.
• 표준 VAE의 한계인 비활성화된 유닛과 열악한 사후 분포 붕괴를 계층적 잠재 구조를 통해 극복하기 위해.
• 민감 변수의 부분적 감시 조건에서 MMD보다 더 효과적인 정규화 항으로서 상호정보량을 도입하기 위해.
• 기본 데이터셋에서 민감 변수가 완전히 관측되었을 때와 부분적으로 관측되었을 때 모두 모델 성능을 실증적으로 검증하기 위해.

제안 방법

• 모델은 두 계층의 계층적 잠재 구조를 사용한다: z1(불변 표현)과 z2(계층적 사전분포)로, 민감한 요소와 예측 가능한 요소를 분리할 수 있다.
• z1의 사전분포로 VampPrior를 사용하여 학습 가능한 성분 평균을 활용함으로써 사후 근사값을 향상시키고 사후 붕괴를 감소시킨다.
• 변분 사후분포를 qϕ(z1|x,s)qϕ(y|z1)qϕ(z2|z1,y)로 인수분해하여 backpropagation를 통한 엔드 투 엔드 학습을 가능하게 한다.
• 잠재 표현 z1과 민감 변수 s 간의 상호정보량을 최소화하기 위해 변분 하한을 활용하여 정규화 항으로서의 공정성 정규화를 수행한다.
• 재구성 오차, KL 발산, 그리고 정규화 항(MMD 또는 MI)을 조합하여 예측 정확도와 공정성의 균형을 이루도록 학습한다.
• MI 추정을 위해 단일 몬테카를로 샘플을 사용하여 상호정보량 항을 근사하며, 영향도 분석을 통해 그 영향을 평가한다.

실험 결과

연구 질문

• RQ1 VampPrior를 갖는 계층적 VAE는 표준 VAE에 비해 공정한 표현 학습을 향상시킬 수 있는가?
• RQ2 민감 변수가 부분적으로 관측될 경우, MMD에 비해 상호정보량 정규화는 공정성 강화에 더 효과적인가?
• RQ3 VampPrior는 사후 붕괴를 완화하고 공정 오토인코더의 표현 품질을 향상시키는가?
• RQ4 민감 변수의 부분적 감시 조건에서 예측 정확도와 민감 정보 유지 간의 상충 관계는 어떻게 나타나는가?
• RQ5 민감 변수에 대한 데이터가 적거나 불확실한 조건에서, MMD에 비해 상호정보량은 더 우수한 공정성 정규화 항인가?

주요 결과

• VampPrior를 통합한 H-VFAE는 원본 VFAE에 비해 예측 정확도는 향상시키면서도 유사한 수준의 민감 정보 유지율을 유지한다.
• 민감 변수가 완전히 관측된 경우, MMD 정규화가 약간 더 민감 정보를 감소시키지만, 두 정규화 모두 높은 분류 정확도를 유지한다.
• 민감 변수가 부분적으로 관측된 경우, MI 정규화가 MMD를 크게 능가하여 더 높은 분류 정확도와 낮은 민감 정보 유지율을 달성한다.
• VampPrior는 더 다중모달성 있고 균형 잡힌 잠재 공간을 만들어내어 사후 붕괴를 감소시키고 표현 품질을 향상시킨다.
• 모델은 민감 속성에 대해 강력한 불변성을 확보하였으며, 시각화 결과에서 다양한 그룹 간의 잠재 표현이 거의 구별되지 않는다.
• 부분적 관측 조건에서 추정 불확실성에 대해 MI 정규화가 더 우수한 안정성을 보이며, 이는 z1과 s 간의 직접적 의존성 모델링 덕분으로 여겨진다.