[논문 리뷰] Discovering Fair Representations in the Data Domain

Novi Quadrianto, Viktoriia Sharmanska외 1명|arXiv (Cornell University)|2018. 10. 15.

Adversarial Robustness in Machine Learning참고 문헌 44인용 수 7

한 줄 요약

이 논문은 통계적 인덱스를 통해 번역된 특징과 보호적 특성 간의 통계적 인립독성을 강제함으로써 입력 데이터를 공정한 타겟 도메인으로 매핑함으로써 공정한 표현을 학습하는 데이터 간 번역 프레임워크를 제안한다. 이 방법은 입력의 의미를 유지하면서도, 예를 들어 CelebA에서 눈이나 입과 같은 임의의 성별 프록시와 DiF에서 코 영역과 같은 요소를 줄여 공정성을 향상시키며, 정확도를 높이고 기회 평등을 보장한다.

ABSTRACT

Interpretability and fairness are critical in computer vision and machine learning applications, in particular when dealing with human outcomes, e.g. inviting or not inviting for a job interview based on application materials that may include photographs. One promising direction to achieve fairness is by learning data representations that remove the semantics of protected characteristics, and are therefore able to mitigate unfair outcomes. All available models however learn latent embeddings which comes at the cost of being uninterpretable. We propose to cast this problem as data-to-data translation, i.e. learning a mapping from an input domain to a fair target domain, where a fairness definition is being enforced. Here the data domain can be images, or any tabular data representation. This task would be straightforward if we had fair target data available, but this is not the case. To overcome this, we learn a highly unconstrained mapping by exploiting statistics of residuals - the difference between input data and its translated version - and the protected characteristics. When applied to the CelebA dataset of face images with gender attribute as the protected characteristic, our model enforces equality of opportunity by adjusting the eyes and lips regions. Intriguingly, on the same dataset we arrive at similar conclusions when using semantic attribute representations of images for translation. On face images of the recent DiF dataset, with the same gender attribute, our method adjusts nose regions. In the Adult income dataset, also with protected gender attribute, our model achieves equality of opportunity by, among others, obfuscating the wife and husband relationship. Analyzing those systematic changes will allow us to scrutinize the interplay of fairness criterion, chosen protected characteristics, and prediction performance.

연구 동기 및 목표

• 기존 모델이 이해할 수 없는 잠재적 임bedding에 의존하기 때문에 공정한 표현 학습에서의 해석 가능성 부족 문제를 해결하기 위해.
• 이미지 및 표본 데이터에 모두 적용 가능한 통합 프레임워크를 개발하여 입력 데이터를 의미를 유지하면서도 공정한 표현으로 변환하기 위해.
• 라벨이 부여된 공정한 데이터가 필요 없이, 공정성 기준(예: 기회 평등)을 강제하기 위해 공정한 타겟 도메인으로의 매핑을 학습하기 위해.
• 시스템 수준의 변환 대신 개별 샘플 수준의 공정성에 대한 해석 가능성을 제공하기 위해, 각 샘플별 공정한 표현을 학습하기 위해.
• 보호적 특성과 공정성 기준에 따라 특정 이미지 영역이나 데이터 특징이 공정성 강제 과정에서 어떻게 체계적으로 변화하는지 분석하기 위해.

제안 방법

• 공정한 표현 학습을 데이터 간 번역 작업으로 간주하여, 사전에 공정한 데이터가 필요 없이 소스 도메인 데이터를 공정한 타겟 도메인으로 매핑한다.
• 번역 매핑을 학습하기 위해 트랜스포머 기반 생성 기반 적대 신경망(cGAN)을 사용한다.
• 고차원 의존성을 캡처할 수 있는 힐버트-슈미트 인립독성 기준(HSIC)을 사용하여 번역된 특징과 보호적 특성 간의 통계적 인립독성을 강제한다.
• 적대적 훈련, 사이클 일致성, HSIC 기반 정규화 항을 조합한 손실 함수를 사용하여 공정성과 이미지 품질을 동시에 확보한다.
• 타겟 도메인은 공정성 제약 조건에 의해 암묵적으로 정의되며, 정렬되지 않은 소스 및 타겟 데이터를 기반으로 엔드 투 엔드로 훈련된다.
• 이 방법은 이미지 데이터(CelebA, DiF)와 표본 데이터(Adult income)에 적용되었으며, 기회 평등성 및 모델 성능을 통해 공정성 평가가 이루어졌다.

실험 결과

연구 질문

• RQ1 이해 가능한 해석과 의미를 유지하면서도 이해할 수 없는 잠재적 임베딩을 피하는 공정한 표현을 학습할 수 있는가?
• RQ2 라벨이 부여된 공정한 데이터가 없을 경우, 데이터 간 번역에서 어떻게 공정성을 강제할 수 있는가?
• RQ3 다양한 보호적 특성에 따라 공정성을 달성하기 위해 어떤 이미지 영역이나 데이터 특징이 체계적으로 수정되는가?
• RQ4 데이터 번역을 통한 공정성 강제가 공정성 지표와 하류 예측 성능을 모두 향상시키는가?
• RQ5 다양한 공정성 기준(예: 기회 평등)이 보호적 특성의 선택과 데이터 모odal의 특성과 어떻게 상호작용하는가?

주요 결과

• CelebA 데이터셋에서 모델은 눈과 입과 같은 성별 프록시에 대한 의존도를 줄여 기회 평등성 지표에서 9.85% 향상시켰다.
• DiF 데이터셋에서 모델은 연령 기반 편향을 줄이기 위해 코 영역을 조정하여 다양한 보호적 특성에 적응 가능함을 보였다.
• Adult income 데이터셋에서 모델은 성별과 연관된 잘못된 결혼 상태 지표(예: '아내' 또는 '남편')의 영향을 줄여 공정성을 향상시켰다.
• VGG19 특징을 사용한 일곱 개인군 분류 작업에서 분류 정확도를 52.85%에서 60.26%로 향상시켜 유용성 향상을 보였다.
• 모델은 일관되게 눈, 입, 코와 같은 특정 얼굴 영역을 보호적 특성의 프록시로 식별하고 수정하여 공정성 강제의 해석 가능성을 제공했다.
• 10회의 반복 실험에서 일관된 결과를 도출하여 성별 관련 프록시를 탐지하고 제거하는 데 있어 강건성을 입증했다.