[논문 리뷰] Fair Interpretable Representation Learning with Correction Vectors

Mattia Cerrato, Alesia Vallenas Coronel외 4명|arXiv (Cornell University)|2022. 02. 07.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 모델 성능을 유지하면서 데이터의 편향을 보정하는 해석 가능한 보정 벡터를 사용하는 공정한 표현 학습을 위한 새로운 프레임워크를 제안한다. 아키텍처적 제약 조건 또는 역가능한 정규화 흐름을 통해 특성 수준의 보정을 명시적으로 학습함으로써, 인간이 읽을 수 있고 분해 가능한 공정성 간섭을 가능하게 하면서도 정확도를 손상시키지 않으며, 최신 기술 수준의 공정성-성능 트레이드오프를 달성한다.

ABSTRACT

Neural network architectures have been extensively employed in the fair representation learning setting, where the objective is to learn a new representation for a given vector which is independent of sensitive information. Various representation debiasing techniques have been proposed in the literature. However, as neural networks are inherently opaque, these methods are hard to comprehend, which limits their usefulness. We propose a new framework for fair representation learning that is centered around the learning of "correction vectors", which have the same dimensionality as the given data vectors. Correction vectors may be computed either explicitly via architectural constraints or implicitly by training an invertible model based on Normalizing Flows. We show experimentally that several fair representation learning models constrained in such a way do not exhibit losses in ranking or classification performance. Furthermore, we demonstrate that state-of-the-art results can be achieved by the invertible model. Finally, we discuss the law standing of our methodology in light of recent legislation in the European Union.

연구 동기 및 목표

• 딥 뉴럴 네트워크 기반의 공정한 표현 학습 방법에서의 해석 가능성 부족 문제를 해결하기 위해.
• 공정성 보정을 인간이 읽을 수 있는 방식으로 점검할 수 있도록, 보정된 표현을 원래 특성 공간으로 다시 매핑함으로써.
• 분류 및 랭킹 작업에서 높은 성능을 유지하면서도 명시적인 보정 벡터를 통해 공정성을 확보하기 위해.
• 투명하고 분해 가능한 보정을 통해 '설명의 권리'를 지원함으로써, 공정한 표현 학습을 유럽연합 AI 규제와 일치시키기 위해.
• 특정 집단을 명시적으로 처벌할 수 있는 공정성 간섭의 법적 및 윤리적 영향을 탐색하기 위해.

제안 방법

• 입력 데이터와 동일한 차원을 가지는 보정 벡터를 학습하여, 각 샘플에 적용되는 공정성 조정을 표현한다.
• 특정 성질을 표현 매핑에 강제하는 아키텍처적 제약 조건을 통해 명시적 계산을 구현한다.
• 입력에서 보정된 표현으로의 이항 변환을 학습하기 위해 역가능한 정규화 흐름을 사용하여 암시적 계산을 수행한다.
• 공정한 표현 학습을 두 단계로 분해한다: (1) 보정 벡터 학습 및 (2) 후속 작업 최적화.
• 보정 벡터는 원본 표현과 비편향 표현 간의 차이에서 유도되며, 이로써 특성 공간에서 직접적인 해석이 가능해진다.
• 표현형 데이터뿐 아니라 고차원 벡터형 데이터 모두를 지원하지만, 이미지 및 텍스트 데이터는 아직 최적화되지 않았다.

실험 결과

연구 질문

• RQ1 명시적이고 인간이 읽을 수 있는 보정 벡터를 통해 공정한 표현 학습을 해석 가능하게 만들 수 있는가?
• RQ2 아키텍처적 제약 조건을 통해 보정 벡터 학습을 강제할 경우, 후속 작업에서 성능이 유지되는가?
• RQ3 역가능한 정규화 흐름을 사용하여 공정한 표현 학습에서 최신 기술 수준의 공정성-성능 트레이드오프를 달성할 수 있는가?
• RQ4 보정 벡터 프레임워크는 특히 '설명의 권리' 측면에서 어떻게 유럽연합 AI 규제와 일치하는가?
• RQ5 비보호 집단의 특성을 명시적으로 처벌하는 것은 어떤 법적 및 윤리적 영향을 미칠 수 있는가?

주요 결과

• 역가능한 정규화 흐름 기반의 보정 벡터 모델을 사용한 제안된 프레임워크는 최신 기술 수준의 공정성-성능 트레이드오프를 달성한다.
• 명시적 보정 벡터 계산을 위한 아키텍처적 제약 조건은 분류 및 랭킹 작업에서 성능 손실가 없이 유지된다.
• 보정 벡터는 직접적인 특성 수준 조정으로서 해석 가능하여, 인간 분석가가 공정성 간섭을 점검할 수 있다.
• 공정성 메커니즘이 투명하고 분해 가능하므로, 이 방법은 '설명의 권리'를 지원한다.
• 명시적인 보정은 반차별 권리에 영향을 줄 수 있으며, 특히 비보호 집단이 처벌받을 경우 중요한 법적 고려사항을 제기한다.
• 이 접근법은 공정한 딥 러닝 모델의 블랙박스를 해소함으로써, 법적으로 준수 가능하고 신뢰할 수 있는 AI로의 길을 제시한다.