[논문 리뷰] README: REpresentation learning by fairness-Aware Disentangling MEthod

Sungho Park, Dohyung Kim외 2명|arXiv (Cornell University)|2020. 07. 07.

Face recognition and analysis참고 문헌 34인용 수 9

한 줄 요약

이 논문은 정당성 인식 기반 분리 변동 오토인코더(FD-VAE)를 제안하며, 잠재 표현을 목표 속성(TAL), 보호 속성(PAL), 상호 속성(MAL)이라는 세 개의 독립된 부분공간으로 분리한다. PAL을 제외하고 MAL을 변형하여 보호 속성 정보를 제거함으로써, FD-VAE는 보다 우수한 정당성-정확도 트레이드오프를 보이며, CelebA 및 UTK Face 데이터셋에서 동등 기회 및 동등한 오차 측면에서 이전 최고 성능 기법들보다 크게 뛰어난 성능을 발휘한다.

ABSTRACT

Fair representation learning aims to encode invariant representation with respect to the protected attribute, such as gender or age. In this paper, we design Fairness-aware Disentangling Variational AutoEncoder (FD-VAE) for fair representation learning. This network disentangles latent space into three subspaces with a decorrelation loss that encourages each subspace to contain independent information: 1) target attribute information, 2) protected attribute information, 3) mutual attribute information. After the representation learning, this disentangled representation is leveraged for fairer downstream classification by excluding the subspace with the protected attribute information. We demonstrate the effectiveness of our model through extensive experiments on CelebA and UTK Face datasets. Our method outperforms the previous state-of-the-art method by large margins in terms of equal opportunity and equalized odds.

연구 동기 및 목표

• 기존의 분리 표현 학습 방법들이 보호 속성 신호를 제거할 때 유용한 목표 속성 정보까지 불의하게 제거하는 한계를 해결하기 위해.
• 잠재 표현을 목표, 보호, 상호 속성이라는 세 가지 명시적인 부분공간으로 분리하여, 후속 분류 작업의 정당성을 향상시키기 위해.
• TAL이 목표 속성 정보만 포함하고 PAL이 보호 속성 정보만 포함하도록 보장하는 분리 손실을 개발하여, 정확도를 희생시키지 않은 채 정당성을 향상시키기 위해.
• MAL(상호 속성 잠재)을 변형함으로써 보호 속성 영향을 제거하고도 분류 성능을 유지함으로써 정당성과 정확도 향상을 확인하기 위해.
• CelebA 및 UTK Face와 같은 벤치마크 데이터셋에서 기존 최고 성능 기법들과 비교해 보다 뛰어난 정당성-정확도 트레이드오프를 달성함을 입증하기 위해.

제안 방법

• FD-VAE는 잠재 공간을 TAL(목표 속성 잠재), PAL(보호 속성 잠재), MAL(상호 속성 잠재)이라는 세 부분공간으로 분리하여 상호 독립성을 확보한다.
• TAL이 목표 속성 정보만 포함하고 PAL이 보호 속성 정보만 포함하도록 보장하기 위해, 분류 손실(L_CLS)과 적대적 손실(L_ADV)을 조합한 새로운 분리 손실을 도입한다.
• MAL은 변형(z_n)되어 보호 속성 정보가 제거되며, 이는 후속 분류 작업에서 편향을 유발하지 않도록 하기 위한 것이다.
• 후속 분류 작업은 PAL을 완전히 배제하고 TAL과 변형된 MAL(z_n)을 사용함으로써 보호 속성에 대한 정당성을 확보한다.
• 모델은 목표 속성과 상호 속성 정보를 활용하면서도 보호 속성 영향을 억제함으로써 정당성과 정확도 트레이드오프를 향상시킨다.
• 제안된 분리 손실과 보조 감독을 통해 분리가 강제되는 VAE 기반 프레임워크를 사용하여 엔드 투 엔드로 학습된다.

실험 결과

연구 질문

• RQ1 목표, 보호, 상호 속성이라는 세 가지 명시적 부분공간으로 잠재 표현을 분리하는 것이 후속 분류의 정당성 향상에 기여하는가?
• RQ2 PAL을 배제하고 변형된 상호 속성 잠재(z_n)를 활용할 경우, 기존의 분리 표현 학습 기법들보다 더 나은 정당성-정확도 트레이드오프를 달성하는가?
• RQ3 제안된 분리 손실이 잠재 공간 내에서 목표 속성과 보호 속성 간의 정보 泄漏를 어느 정도 감소시키는가?
• RQ4 MAL의 포함과 변형 여부가 TAL만을 사용하는 경우와 비교해 정당성과 분류 정확도에 어떤 영향을 미치는가?
• RQ5 FD-VAE는 실세계 데이터셋인 CelebA 및 UTK Face에서 동등 기회 및 동등한 오차와 같은 정당성 지표에서 최고 성능을 달성하는가?

주요 결과

• CelebA 데이터셋에서 FD-VAE는 이전 최고 성능 기법(FFVAE)보다 동등 기회에서 16.4% 향상되고, 동등한 오차에서 12.6% 향상되었다.
• UTK Face 데이터셋에서 FD-VAE는 이전 최고 성능 기법보다 동등 기회에서 2.3% 향상되고, 동등한 오차에서 2.0% 향상되었다.
• 제거 실험 결과, L_CLS 손실을 추가하면 정당성과 정확도가 향상되며, 전체 분리 손실(L_CLS + L_ADV)을 추가하면 동등 기회와 동등한 오차에서 각각 12.2%와 10.5% 향상됨을 확인했다.
• MAL을 변형 없이 사용할 경우 정당성이 크게 떨어지지만, MAL을 변형(z_n)함으로써 정확도는 향상되면서도 높은 정당성을 유지함을 확인하여 그 효과를 입증했다.
• FD-VAE는 FFVAE와 유사한 분류 정확도를 달성하면서도 정당성 지표에서 훨씬 뛰어난 성능을 보이며, 더 나은 정당성-정확도 트레이드오프를 입증했다.
• 모델은 CelebA 및 UTK Face 데이터셋 양쪽 모두에서 뛰어난 성능을 보이며, 다양한 데이터 분포와 속성 조합에 걸쳐 일반화 능력이 뛰어남을 확인했다.