[논문 리뷰] Blind Justice: Fairness with Encrypted Sensitive Attributes

Niki Kilbertus, Adrià Gascón외 4명|arXiv (Cornell University)|2018. 06. 08.

Privacy-Preserving Technologies in Data참고 문헌 37인용 수 30

한 줄 요약

이 논문은 민감한 속성(예: 인종, 성별)을 폭 lộ하지 않으면서도 공정한 기계학습을 가능하게 하는 보안 다자간 계산(MPC) 기반 프레임워크를 제안한다. 이는 기밀성과 공정성을 동시에 확보한다. 민감한 특성을 암호화하고 고정소수점 산술을 사용한 라그랑주 승수 방법을 적용함으로써, 공정성에 대한 증명, 공정한 모델 학습, 모델 출력의 검증을 수행하면서도 사용자, 모델러, 감독 기관의 암호화된 기밀성을 유지한다.

ABSTRACT

Recent work has explored how to train machine learning models which do not discriminate against any subgroup of the population as determined by sensitive attributes such as gender or race. To avoid disparate treatment, sensitive attributes should not be considered. On the other hand, in order to avoid disparate impact, sensitive attributes must be examined, e.g., in order to learn a fair model, or to check if a given model is fair. We introduce methods from secure multi-party computation which allow us to avoid both. By encrypting sensitive attributes, we show how an outcome-based fair model may be learned, checked, or have its outputs verified and held to account, without users revealing their sensitive attributes.

연구 동기 및 목표

• 기계학습에서 공정성을 강제화하는 것과 사용자의 민감한 속성(예: 인종, 성별)을 폭로하지 않는 것 사이의 갈등을 해결한다.
• GDPR 제한과 같은 법적, 윤리적, 기밀성 장벽을 극복하기 위해 민감한 데이터를 폭로하지 않고도 공정성 검사를 가능하게 한다.
• 민감한 속성이나 모델 파라미터를 폭로하지 않고도 감사 가능한 공정성 인증, 모델 학습, 결과 검증을 가능하게 한다.
• 감독 기관이 원시 민감한 데이터나 모델러의 알고리즘에 접근하지 않고도 공정성 준수 여부를 검증할 수 있도록 보장한다.
• 암호화 오버헤드가 존재하더라도 실제 데이터셋에서 정확성과 효율성을 유지하는 실용적인 MPC 기반 시스템을 개발한다.

제안 방법

• 민감한 속성을 암호화한 상태에서 계산이 가능하도록 보안 다자간 계산(MPC)을 사용하여, 누구도 평문 값을 접근할 수 없도록 보장한다.
• 공정성 개념(예: p%-규칙, 동일 기회)에 필요한 선형 제약 조건을 지원하기 위해 MPC 프로토콜을 확장하고, 최적화를 위해 라그랑주 승수 방법을 적용한다.
• 사전에 계산된 곱셈 트리플을 사용하여 고정소수점 산술을 구현함으로써 계산 오버헤드를 줄이고, MPC에서의 오버플로우/언더플로우를 방지한다.
• 비선형 함수(예: 로지스틱 함수)에 대해 조각별 선형 근사를 적용하여 정확성과 MPC 제약 조건의 호환성을 유지한다.
• 각 기울기 업데이트 후 공정성 제약 조건이 충족되는지 확인함으로써 학습 루프에 공정성 인증 기능을 통합한다.
• 사용자가 인증된 모델을 사용하여 모델 출력에 도전할 수 있도록 하여, 배포된 모델이 학습된 공정한 모델과 일치하는지 검증할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 모델러와 감독 기관을 포함한 누구에게도 민감한 속성을 폭로하지 않고도 기계학습의 공정성을 강제하고 검증할 수 있는가?
• RQ2 MPC를 어떻게 확장하여 p%-규칙이나 동일 기회와 같은 공정성 제약 조건을 지원할 수 있는가?
• RQ3 실제 데이터셋에서 MPC를 사용한 공정한 모델 학습 및 인증의 계산 비용과 정확성 간의 상호 교환 관계는 어떠한가?
• RQ4 여러 민감한 속성이 존재할 경우에도 암호화된 민감한 속성을 사용하여 공정하고 정확한 모델을 학습시킬 수 있는가?
• RQ5 모델이나 민감한 데이터를 폭로하지 않고도 배포된 모델이 이전에 인증된 공정한 모델과 일치하는지 검증하는 것이 가능한가?

주요 결과

• 고정소수점 산술과 조각별 선형 근사를 사용한 라그랑주 승수 방법은 여섯 개의 데이터셋에서 기준 SLSQP 방법 대비 4% 미만의 정확도 편차로 안정적인 공정성 강제를 달성했다.
• 공정성 인증 및 모델 검증은 MPC 환경에서도 매우 효율적이었으며, 각 검사에 1초 미만이 소요되었다.
• 노트북 컴퓨터에서의 학습은 비-MPC 학습보다 수개의 주기수만큼 더 오래 걸렸지만, 곱셈 트리플의 사전 계산 덕분에 실용적인 범위에 머물렀다.
• 특히 합성 데이터셋과 Bank 데이터셋에서 공정성 제약 조건이 강화될수록 민감 그룹 간 결과 비율이 균형을 이루는 것을 성공적으로 달성했다(예: z=0 대비 z=1).
• Bank 데이터셋에서는 프로젝션 기반 기울기 방법이 신뢰할 수 없었지만, 라그랑주 접근 방식은 모든 데이터셋에서 일관된 성능을 보이며 가장 견고한 성능을 보였다.
• COMPAS 데이터셋에서는 다수의 민감한 속성이 존재해 공정성 제약 조건이 빨리 활성화되었지만, 여전히 최소한의 정확도 손실로 균형 잡힌 결과를 달성했다.