[논문 리뷰] A Central Limit Theorem for $L_p$ transportation cost with applications to Fairness Assessment in Machine Learning

Eustasio del Barrio, Paula Gordaliza외 1명|arXiv (Cornell University)|2018. 07. 18.

Adversarial Robustness in Machine Learning참고 문헌 18인용 수 3

한 줄 요약

이 논문은 실수선 상의 경험분포 간의 $L_p$-Wasserstein 거리에 대해 최소한의 모멘트 및 부드러움 조건 하에서 중심극한정리(Central Limit Theorem)를 수립한다. 이를 통해 분포 유사성에 대한 점근적으로 타당한 이표본 검정이 가능해지고, 보호받는 하위군 간 분류기 출력 간의 Wasserstein 거리를 측정하여 기계학습에서 새로운 공정성 평가 기준을 제안한다.

ABSTRACT

We provide a Central Limit Theorem for the Monge-Kantorovich distance between two empirical distributions with size $n$ and $m$, $W_p(P_n,Q_m)$ for $p>1$ for observations on the real line, using a minimal amount of assumptions. We provide an estimate of the asymptotic variance which enables to build a two sample test to assess the similarity between two distributions. This test is then used to provide a new criterion to assess the notion of fairness of a classification algorithm.

연구 동기 및 목표

• 기본 분포에 대한 최소한의 가정 하에 두 경험분포 간의 $L_p$-Wasserstein 거리 $W_p(P_n, Q_m)$ 에 대한 중심극한정리(CLT)를 수립하기.
• 분포 유사성에 대한 이표본 가설검정을 가능하게 하기 위해 $W_p(P_n, Q_m)$ 의 점근적 분산 추정을 도출하기.
• 이론적 CLT 를 응용하여, 보호받는 하위군 간 분류기 출력 간의 Wasserstein 거리를 측정함으로써 기계학습 모델의 공정성 평가를 위한 새로운, 분포에 종속되지 않는 기준을 개발하기.
• 독립성 또는 조건부 독립성 가정에 의존하지 않고 최적 운반 거리로 편향을 정량화함으로써 공정성 평가에 대한 엄밀한 통계적 기반을 제공하기.

제안 방법

• 누적분포함수에 대한 최소한의 모멘트 및 부드러움 조건 하에서, 표본 크기가 각각 $n$ 과 $m$ 인 경험측도 $P_n$ 과 $Q_m$ 간의 $L_p$-Wasserstein 거리 $W_p(P_n, Q_m)$ 의 점근적 분포를 유도하기.
• Wasserstein 거리의 $p$ 제곱에 대한 타일러 전개를 사용하고, 경험분위수 과정의 약한 수렴 결과를 적용하여 한계 정규분포를 도출하기.
• 정규화된 $W_p^p$ 거리의 수렴을 정규분포로 보장하며, 역누적분포함수 및 그 차이에 기반한 점근적 분산의 명시적 표현을 유도하기.
• CLT 를 활용하여, null 가설 $\mathcal{W}_p(P,Q) \geq \Delta_0$ 대 대립가설 $\mathcal{W}_p(P,Q) < \Delta_0$ 에 대한 이표본 검정을 구성하기, 이때 점근적 분산의 추정치를 사용하기.
• 보호된 속성 $S=0$ 과 $S=1$ 을 조건으로 하는 모델 예측의 조건부 분포 간 Wasserstein 거리에 기반한 기계학습에서의 공정성 지표를 제안하기.
• 이론적 CLT 를 활용하여 공정성 지표에 대한 추론을 가능하게 하여, 관측된 격리의 통계적 유의성을 평가하기 위한 p-값과 신뢰구간 제공하기.

실험 결과

연구 질문

• RQ1 실수선 상의 두 경험분포 간의 $L_p$-Wasserstein 거리가 중심극한정리(CLT)를 만족하기 위한 최소한의 정규성 조건은 무엇인가?
• RQ2 약한 모멘트 및 부드러움 조건 하에서 $W_p(P_n, Q_m)$ 통계량의 점근적 분산을 일관되게 추정할 수 있는가?
• RQ3 W_p(P_n, Q_m) 에 대한 CLT 는 어떻게 활용되어 분포의 유사성에 대한 유효한 이표본 검정을 구성할 수 있는가?
• RQ4 보호받는 하위군 간 분류기 출력 간의 Wasserstein 거리는 기계학습에서 통계적으로 해석 가능한 공정성 지표로 얼마나 유용한가?
• RQ5 경험분포와 진짜 분포 간의 기대값 $W_p^p$ 거리의 점근적 행동은 어떠한가? 그리고 이는 한계 정규분포와 어떻게 관련이 있는가?

주요 결과

• 논문은 $\sqrt{n}(W_p^p(F_n, G) - W_p^p(F, G))$ 가 최소한의 가정 하에 평균이 0이고 잘 정의된 점근적 분산을 갖는 정규확률변수로 수렴함을 수립한다.
• W_p^p 거리의 점근적 분산은 기저 분포의 역누적분포함수 및 그 차이에 대해 명시적으로 유도된다.
• CLT 는 오직 $p$-번째 모멘트 조건과 누적분포함수의 미약한 부드러움 조건 하에서도 성립하며, 이는 이전 결과에서 요구하던 고차 모멘트 조건을 초월한다.
• W_p(P_n, Q_m) 의 한계분포는 점근적으로 정규분포이며, 이는 분포의 유사성에 대한 신뢰구간 및 가설검정의 구성이 가능함을 의미한다.
• 기대값 $W_p^p(F_n, G)$ 는 $O(1/\sqrt{n})$ 의 속도로 $W_p^p(F, G)$ 로 수렴하며, 중심화된 수열은 정규분포로 수렴한다.
• 제안된 공정성 평가 프레임워크는 보호그룹과 비보호그룹의 모델 출력 간 Wasserstein 거리를 통해 편향을 정량화하며, 유도된 CLT 를 통해 통계적 추론이 가능하다.