[논문 리뷰] CertiFair: A Framework for Certified Global Fairness of Neural Networks

Haitham Khedr, Yasser Shoukry|arXiv (Cornell University)|2022. 05. 20.

Ethics and Social Impacts of AI인용 수 6

한 줄 요약

CertiFair는 ReLU 신경망에서 모든 유사한 입력 쌍을 통해 공정성을 검증하기 위해 제품 네트워크 접근 방식을 사용하는 신뢰할 수 있고 완전한 검증 프레임워크를 도입한다. 또한 정확도 저하를 최소화하면서 공정성을 최대 96% 향상시키는 공정성 정규화 학습 방법을 제안하여 경험적 검증에 의존하지 않고도 증명 가능한 공정성 보장을 가능하게 한다.

ABSTRACT

We consider the problem of whether a Neural Network (NN) model satisfies global individual fairness. Individual Fairness suggests that similar individuals with respect to a certain task are to be treated similarly by the decision model. In this work, we have two main objectives. The first is to construct a verifier which checks whether the fairness property holds for a given NN in a classification task or provide a counterexample if it is violated, i.e., the model is fair if all similar individuals are classified the same, and unfair if a pair of similar individuals are classified differently. To that end, We construct a sound and complete verifier that verifies global individual fairness properties of ReLU NN classifiers using distance-based similarity metrics. The second objective of this paper is to provide a method for training provably fair NN classifiers from unfair (biased) data. We propose a fairness loss that can be used during training to enforce fair outcomes for similar individuals. We then provide provable bounds on the fairness of the resulting NN. We run experiments on commonly used fairness datasets that are publicly available and we show that global individual fairness can be improved by 96 % without significant drop in test accuracy.

연구 동기 및 목표

• 높은 영향을 미치는 의사결정 시스템에서 특히 신경망 분류기의 증명 가능한 글로벌 공정성 보장의 부족을 해결하기 위해.
• 모든 유사한 입력 쌍이 주어진 공정성 척도 하에 동일하게 대응되는지 확인할 수 있는 신뢰성 있고 완전한 검증기 개발을 위해.
• 학습 데이터에 편향이 있을 경우에도 유사한 개인에 대해 공정성을 강제하는 학습 절차 설계를 위해.
• 데이터 분포 가정이나 표본 추출에 의존하지 않는 공식 증명서를 제공하기 위해.
• 국소 공정성 검증의 한계를 극복하고 전체 입력 영역에 걸쳐 글로벌 공정성으로 확장하기 위해.

제안 방법

• 입력 쌍 (x, x')을 취하고 각각에 대해 독립적으로 출력을 계산하는 제품 신경망을 구축하여 모든 이러한 쌍에 대한 공정성 검증을 가능하게 한다.
• 초성질 검증 기반의 관계 검증 기법을 활용하여, 기능별 거리 δi 내의 모든 입력이 동일하게 분류됨을 공식적으로 검증한다.
• 공정성 위반의 상한을 기반으로 한 공정성 손실 함수를 정의하고, 이는 학습 중에 정규화 기법으로 작용하여 공정성을 촉진한다.
• 볼록 이완 기반 검증 기법을 활용하여 검증기를 더 큰 네트워크로 확장하면서도 신뢰성과 완전성을 유지한다.
• 제품 네트워크와 공정성 정규화기를 학습 파이프라인에 통합하여 테스트 정확도를 훼손하지 않으면서도 증명 가능한 공정성을 보장한다.
• 학습 후 검증기를 적용하여 글로벌 공정성을 검증하고, 모든 유사한 입력이 공정하게 대응됨을 보장한다.

실험 결과

연구 질문

• RQ1 공식 검증 프레임워크가 ReLU 신경망에서 글로벌 개인 공정성에 대해 신뢰성 있고 완전한 인증을 제공할 수 있는가?
• RQ2 학습 중에 어떻게 공정성을 강제할 수 있으며, 학습 데이터에 편향이 있을 경우에도 증명 가능한 공정성을 확보할 수 있는가?
• RQ3 실제 공정성 데이터셋에서 정확도를 크게 떨어뜨리지 않고 공정성을 얼마나 향상시킬 수 있는가?
• RQ4 국소 검증 기법이 놓치는 글로벌 공정성 위반을 프레임워크가 탐지할 수 있는가?
• RQ5 기존의 공정성 완화 기법과 비교해 볼 때 제안된 공정성 정규화기는 확장성과 증명 가능한 보장 측면에서 어떻게 다른가?

주요 결과

• 제안된 검증기는 글로벌 개인 공정성에 대해 신뢰성 있고 완전한 검증을 달성하여 공정성 평가에서 거짓 음성 또는 양성 결과가 발생하지 않는다.
• 공정성 정규화 학습 절차는 표준 공정성 데이터셋에서 최대 96%까지 글로벌 공정성을 향상시키며 높은 테스트 정확도를 유지한다.
• 공정성 정규화 파rameter 값이 5×10⁻²일 때, 테스트된 데이터셋에서 100%의 증명 가능한 글로벌 공정성을 달성했다.
• 국소 공정성 검증 기법보다 더 나아가 전체 입력 영역에 걸쳐 공정성 위반을 탐지하여, 개별 입력 주변이 아닌 전체 범위에서의 공정성 문제를 포괄한다.
• 공정성을 강하게 강제하더라도 높은 테스트 정확도(예: λf = 1×10⁻⁴일 때 74.33%)를 유지하여 성능 저하가 최소화됨을 보여준다.
• 제품 네트워크와 볼록 이완 기법의 통합은 대규모 ReLU 네트워크에 대해 확장 가능하고 정밀한 공정성 검증을 가능하게 한다.