[논문 리뷰] Quantifying Program Bias

Aws Albarghouthi, Loris D’Antoni외 2명|arXiv (Cornell University)|2017. 02. 17.

Adversarial Robustness in Machine Learning참고 문헌 44인용 수 10

한 줄 요약

이 논문은 의사결정 프로그램에서 정량적 공정성 성질을 검증하기 위한 신뢰할 수 있고 완전한 확률적 프로그램 분석 기법을 소개한다. SMT 솔버를 사용하여 가중치가 부여된 실수 산술 공식에 대한 체적 계산으로 편향 검증 문제를 축소함으로써, 저자들은 FairSquare라는 도구를 제안한다. 이 도구는 조건부 확률을 계산하여 그룹 공정성을 자동으로 정량화하며, 한계에서 정확한 수렴을 달성하고 실제 세계의 머신러닝 분류기에서 최신 기법들을 능가한다.

ABSTRACT

With the range and sensitivity of algorithmic decisions expanding at a break-neck speed, it is imperative that we aggressively investigate whether programs are biased. We propose a novel probabilistic program analysis technique and apply it to quantifying bias in decision-making programs. Specifically, we (i) present a sound and complete automated verification technique for proving quantitative properties of probabilistic programs; (ii) show that certain notions of bias, recently proposed in the fairness literature, can be phrased as quantitative correctness properties; and (iii) present FairSquare, the first verification tool for quantifying program bias, and evaluate it on a range of decision-making programs.

연구 동기 및 목표

• 확률적 의사결정 프로그램에서 정량적 공정성 성질을 위한 형식적이고 자동화된 검증 기법을 개발하는 것.
• 프로그램 편향을 보호 그룹과 비보호 그룹 간의 결과 조건부 확률로 모델링하는 것, 특히 확률적 정확성 성질로.
• 실수 폐쇄 체 위에서의 가중 체적 계산으로 문제를 축소하여 정밀하고 신뢰성 있고 완전한 공정성 검증을 가능하게 하는 것.
• 실제 세계의 머신러닝 분류기에서 실제 인구 분포를 반영하여 편향을 분석할 수 있는 도구 FairSquare를 구현하고 평가하는 것.

제안 방법

• 확률적 공정성 성질의 검증을 실수 산술 공식 위의 가중 체적 계산으로 축소하여, 프로그램 인코딩과 입력 분포를 표현한다.
• SMT 솔버를 블랙박스로 사용하여 프로그램 제약 조건으로 정의된 영역 위에서 확률 밀도 함수를 통합하는 새로운 기호적 체적 계산 알고리즘을 적용한다.
• 고정된 분포를 기반으로 한 적응형 중요도 샘플링을 사용하여 고체적 초직사각형 영역을 우선순위로 배정함으로써 수렴 속도와 정확도를 향상시킨다.
• 선형 및 다항 부등식을 포함한 임의의 확률 분포와 실수 폐쇄 체 위의 공식을 지원하며, 이는 이전 연구에서 제한된 유한 또는 이산 영역을 넘어서는 확장이다.
• 이론적 수렴 보장을 제공하여 계산된 체적이 한계에서 정확한 값으로 수렴함을 보장한다.
• SMT 솔버와의 통합을 통해 공식 분해 및 기호 제약 제거 기법을 활용하여 복잡한 의사결정 프로그램의 논리적 인코딩을 처리한다.

실험 결과

연구 질문

• RQ1 신뢰성과 완전성 보장을 갖춘 자동화된 기법을 사용하여 확률적 프로그램에서 정량적 공정성 성질을 형식적으로 검증할 수 있는가?
• RQ2 실제 인구 분포를 반영하는 방식으로 보호 그룹과 비보호 그룹 간의 프로그램 결과 조건부 확률을 어떻게 모델링하고 계산할 수 있는가?
• RQ3 복잡한 연속 영역이 프로그램 논리와 확률 밀도 함수로 정의된 경우, 정확하고 확장 가능한 가중 체적 계산을 위한 알고리즘 기법은 무엇인가?
• RQ4 기존의 샘플링 기반 또는 모델 수세기 기반 접근법에 비해 제안된 방법은 정확도와 성능 측면에서 어떻게 비교되는가?
• RQ5 이 기법은 실질적인 데이터 기반으로 훈련된 실제 세계의 머신러닝 분류기에서 편향을 탐지하고 정량화하는 데 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 기호적 체적 계산 알고리즘이 한계에서 정확한 체적으로 수렴하여 확률적 공정성 성질에 대해 신뢰성 있고 완전한 검증을 제공한다.
• FairSquare는 실제 세계의 머신러닝 모델에서 유도된 다양한 의사결정 프로그램에서 편향을 성공적으로 정량화하여 실용적 적용 가능성을 입증했다.
• 기준 분류기에서 최신 기술 대비 정확도와 확장성 측면에서 모두 뛰어난 성능을 보였다.
• 근사 분포를 기반으로 한 적응형 중요도 샘플링은 균일 샘플링에 비해 수렴 속도와 정밀도를 크게 향상시켰다.
• 임의의 확률 분포와 실수 폐쇄 체 위의 복잡한 논리 공식을 처리할 수 있어, 이전 연구가 유한 또는 이산 영역에 국한된 것에 비해 뛰어난 성능을 발휘한다.
• SMT 솔버를 블랙박스로 통합함으로써 연속적이고 비선형 제약 조건에 대한 효과적인 추론이 가능해졌으며, 단순 선형 모델을 넘어서 일반적인 공정성 검증을 지원한다.