[논문 리뷰] Learning Generative Adversarial RePresentations (GAP) under Fairness and Censoring Constraints

Jiachun Liao, Chong Huang외 2명|arXiv (Cornell University)|2019. 09. 27.

Adversarial Robustness in Machine Learning참고 문헌 4인용 수 9

한 줄 요약

GAP는 악성 기반의 최소화 게임을 통해 민감한 속성을 분리시키는 인코더를 훈련시켜 공정하고 검열된 표현을 학습하기 위한 생성적 적대적 프레임워크를 제안한다. 정보 이론적 강건성에 기반하여 인구 통계적 평등성과 강력한 검열 보장을 보장하며, 합성 및 실재 데이터셋에서 검증된 인공지능 일반화 성능을 보여준다.

ABSTRACT

We present Generative Adversarial rePresentations (GAP) as a data-driven framework for learning censored and/or fair representations. GAP leverages recent advancements in adversarial learning to allow a data holder to learn universal representations that decouple a set of sensitive attributes from the rest of the dataset. Under GAP, finding the optimal fair/censoring encoder is formulated as a constrained minimax game between a data encoder and an adversary. We show that for appropriately chosen adversarial loss functions, GAP provides censoring guarantees against strong information-theoretic adversaries and enforces demographic parity. We also evaluate the performance of GAP on multi-dimensional Gaussian mixture models and real datasets, and show how a designer can certify that representations learned under an adversary with a fixed architecture perform well against more complex adversaries.

연구 동기 및 목표

• 민감한 속성으로부터 분리된 표현을 학습하는 데이터 기반 프레임워크를 개발하는 것.
• 비민감한 특징의 유용성을 유지하면서도 인구 통계적 평등성을 통해 공정성을 확보하는 것.
• 표현 학습에서 강력한 정보 이론적 적대자에 대한 이론적 보장을 제공하는 것.
• 더 복잡한 적대자에 대해 학습된 표현의 강건성을 인증하는 것.
• 통제된 공정성 및 검열 제약 조건 하에서 합성 및 실세계 데이터셋에서 프레임워크를 평가하는 것.

제안 방법

• 데이터 인코더와 적대자 간의 제약된 최소화 게임으로 공정한 표현 학습 문제를 수립한다.
• 인코딩된 표현에서 민감한 속성을 추론할 수 있는 능력을 제약하는 적대적 손실 함수를 사용한다.
• 학습된 표현에서 인구 통계적 평등성을 확보하기 위해 공정성 제약 조건을 적용한다.
• 다양한 데이터 분포에 일반화 가능한 유니버설 인코더 아키텍처를 활용한다.
• 고정된 아키텍처를 가진 적대자에 대해 표현의 강건성을 검증하는 인증 메커니즘을 도입한다.
• 최근의 적대적 학습 기술을 활용하여 최소한의 가정 하에 강력한 검열 보장을 확보한다.

실험 결과

연구 질문

• RQ1 생성적 적대적 프레임워크는 정보 이론적 적대자에 대해 효과적으로 공정하고 강건한 표현을 학습할 수 있는가?
• RQ2 GAP로 학습된 표현은 인구 통계적 평등성을 확보하면서도 얼마나 잘 유용성을 유지하는가?
• RQ3 고정된 아키텍처를 가진 적대자의 성능이 더 복잡한 적대자로 일반화되는 정도는 어느 정도인가?
• RQ4 다양한 적대적 손실 함수가 학습된 표현의 공정성 및 검열 보장에 어떤 영향을 미치는가?
• RQ5 GAP는 실세계 데이터셋에서 기준 공정성 방법에 비해 어떻게 성능을 발휘하는가?

주요 결과

• GAP는 합성 및 실세계 데이터셋 모두에서 민감한 속성을 학습된 표현에서 효과적으로 분리시켜 강력한 인구 통계적 평등성을 달성한다.
• 철저히 설계된 적대적 손실 함수 덕분에 강력한 정보 이론적 적대자에 대한 이론적 검열 보장을 제공한다.
• 제안된 검증 메커니즘을 통해 인증된 바에 따르면 GAP로 학습된 표현은 더 복잡한 적대자에 대해서도 강건성을 보여준다.
• 다차원 정규 분포 혼합 모델에서의 성능 평가 결과, 프레임워크는 공정성을 강화하면서도 표현의 유용성을 유지할 수 있음을 확인했다.
• 인증 프레임워크 덕분에, 학습 시 사용된 아키텍처보다 더 복잡한 아키텍처를 가진 적대자에 대해서도 강건성 평가를 신뢰성 있게 수행할 수 있다.
• 실험 결과, GAP는 비민감한 특징의 유용성을 유지하면서도 기준 방법에 비해 공정성 강화에서 뛰어난 성능을 발휘한다.