[논문 리뷰] A Consistent Extension of Discrete Optimal Transport Maps for Machine Learning Applications

Lucas de Lara, Alberto González-Sanz외 1명|arXiv (Cornell University)|2021. 02. 17.

Markov Chains and Monte Carlo Methods참고 문헌 25인용 수 4

한 줄 요약

이 논문은 경험적 표본에서 연속적인 운반 지도의 근사값을 학습하여 이산 최적 운반 지도를 새로운, 관측되지 않은 데이터로 일반화할 수 있는 통계적으로 일관된 방법을 제안한다. 이 방법은 진정한 연속적 운반 지도로의 점차적 수렴을 보장하여, 이론적 보장을 갖춘 공정성 인식 기계 학습에서의 일관된 반사적 설명을 가능하게 한다.

ABSTRACT

Optimal transport maps define a one-to-one correspondence between probability distributions, and as such have grown popular for machine learning applications. However, these maps are generally defined on empirical observations and cannot be generalized to new samples while preserving asymptotic properties. We extend a novel method to learn a consistent estimator of a continuous optimal transport map from two empirical distributions. The consequences of this work are two-fold: first, it enables to extend the transport plan to new observations without computing again the discrete optimal transport map; second, it provides statistical guarantees to machine learning applications of optimal transport. We illustrate the strength of this approach by deriving a consistent framework for transport-based counterfactual explanations in fairness.

연구 동기 및 목표

• 이산 최적 운반 지도의 한계를 해결하기 위해, 이는 훈련 샘플에서만 정의되며 새로운 데이터로의 일반화가 불가능하다는 점이다.
• 경험 분포에서 연속 최적 운반 지도의 통계적으로 일관된 추정기 개발하기.
• 최적 운반을 기계 학습 응용 분야에 일반화할 수 있도록 하는 것, 예를 들어 반사적 설명과 같은 응용.
• 최적 운반 기반의 공정성 감시 및 모델 해석 가능성에 대한 이론적 보장 제공하기.

제안 방법

• 이 방법은 del Barrio 등 (2020a)의 보간 프레임워크를 확장하여 이산 최적 운반 지도의 연속적 근사를 구성한다.
• 약한 정규성 조건 하에서 진정한 Brenier 지도로 거의 확실히 수렴하는 T-허용 추정기 도입.
• 최적 운반 지도의 순환 단조성과 볼록 해석학을 활용하여 일관성 보장.
• 운반 지도를 볼록 함수의 하도함수로 표현하고, 도미네이팅 수렴 정리를 통해 수렴 보장.
• 분류기의 분리 가능성과 무시할 수 있는 불연속성 집합에 대한 가정을 통합하여, 플립 확률의 거의 확실한 수렴 보장.
• 연속 함수 정리와 도미네이팅 수렴 정리를 적용하여 플립 집합과 부호 벡터와 같은 핵심 공정성 지표의 일관성 증명.

실험 결과

연구 질문

• RQ1 이산 최적 운반 지도가 진정한 연속 지도로 점차 수렴하는 동안 새로운 관측되지 않은 데이터 포인트로 일관되게 확장될 수 있는가?
• RQ2 표본 크기가 증가함에 따라 제안된 연속 근사가 통계적으로 일관성을 유지하는가?
• RQ3 이 일관된 프레임워크를 이진 분류기에서의 공정성 감시를 위한 신뢰할 수 있는 반사적 설명 유도에 적용할 수 있는가?
• RQ4 최적 운반 기반 설명의 맥락에서 플립 집합 확률과 부호 벡터의 거의 확실한 수렴을 보장하는 조건은 무엇인가?
• RQ5 경험적 추정치를 사용할 때 최적 운반 기반의 공정성 지표에 대한 이론적 보장을 어떻게 확립할 수 있는가?

주요 결과

• 표본 크기가 증가함에 따라 제안된 방법은 추정된 운반 지도가 진정한 연속 Brenier 지도로 거의 확실히 수렴함을 보여준다.
• 플립 집합 확률, 즉 음성 플립 집합과 양성 플립 집합 모두가 연속 지도 하에서 진정한 값으로 거의 확실히 수렴한다.
• 불연속성 집합이 소스 측도 하에서 측도가 0이면, 평균 부호 벡터와 기준 기반 차이 지표도 거의 확실히 수렴한다.
• 프레임워크는 Δ⁻_diff, Δ⁺_diff, Δ_ref_diff, Δ⁻_sign, Δ_ref_sign와 같은 공정성 지표에 대해 통계적 일관성을 보장한다.
• 실용적인 가정 하에서 이론적 보장이 유지된다: 분류기의 분리 가능성과 무시할 수 있는 불연속성 집합으로, 이는 대부분의 실제 기계 학습 응용에서 만족된다.
• 이 방법은 각 새로운 샘플마다 운반 지도를 다시 계산하지 않고도 일관되고 일반화 가능한 반사적 설명을 위한 공정성 감시를 가능하게 한다.