[논문 리뷰] On integral probability metrics, ϕ-divergences and binary classification

Bharath K. Sriperumbudur, Kenji Fukumizu외 3명|ArXiv.org|2009. 01. 18.

Statistical Mechanics and Entropy참고 문헌 63인용 수 93

한 줄 요약

이 논문은 적분 확률 거리(IPMs)와 이진 분류 간의 새로운 연결 고리를 설정하며, 조건부 분포 간 IPM이 최적의 분류 위험의 음수와 동일하다는 것을 보여준다. IPMs가 φ-발산보다 더 빠른 수렴 속도를 가지며 일致하게 추정 가능하다는 것을 증명하고, 총 변동성(total variation)이 오직 유일한 φ-발산이자 IPM이 되는 것을 밝혀내어 통계학적 학습 응용에서 두 개념 간의 근본적인 차이를 부각시킨다.

ABSTRACT

A class of distance measures on probabilities -- the integral probability metrics (IPMs) -- is addressed: these include the Wasserstein distance, Dudley metric, and Maximum Mean Discrepancy. IPMs have thus far mostly been used in more abstract settings, for instance as theoretical tools in mass transportation problems, and in metrizing the weak topology on the set of all Borel probability measures defined on a metric space. Practical applications of IPMs are less common, with some exceptions in the kernel machines literature. The present work contributes a number of novel properties of IPMs, which should contribute to making IPMs more widely used in practice, for instance in areas where $ϕ$-divergences are currently popular. First, to understand the relation between IPMs and $ϕ$-divergences, the necessary and sufficient conditions under which these classes intersect are derived: the total variation distance is shown to be the only non-trivial $ϕ$-divergence that is also an IPM. This shows that IPMs are essentially different from $ϕ$-divergences. Second, empirical estimates of several IPMs from finite i.i.d. samples are obtained, and their consistency and convergence rates are analyzed. These estimators are shown to be easily computable, with better rates of convergence than estimators of $ϕ$-divergences. Third, a novel interpretation is provided for IPMs by relating them to binary classification, where it is shown that the IPM between class-conditional distributions is the negative of the optimal risk associated with a binary classifier. In addition, the smoothness of an appropriate binary classifier is proved to be inversely related to the distance between the class-conditional distributions, measured in terms of an IPM.

연구 동기 및 목표

• 적분 확률 거리(IPMs)와 φ-발산 간의 이론적 관계를 명확히 하며, 특히 그 교차 및 근본적인 차이점을 규명한다.
• 유한한 i.i.d. 표본에서 IPMs를 일致하고 계산적으로 효율적인 추정기로 개발하며, 명시적인 수렴 속도를 제공한다.
• IPMs를 이진 분류를 통해 새로운 해석을 제공하여 조건부 분포 간 거리와 최적의 분류 위험 간의 연결 고리를 맺는다.
• 최적의 이진 분류기의 매끄러움이 조건부 분포 간 IPM과 반비례한다는 것을 확립한다.

제안 방법

• IPMs와 φ-발산의 교차 조건을 필요로 하고 충분히 유도하여, 총 변동 거리만이 둘 다에 속한다는 것을 증명한다.
• 유계 가측 함수 클래스 F를 사용하여 IPMs의 경험적 추정기를 제안하며, 라데마처 복잡도와 맥디아미드 부등식을 활용해 농도 경계를 확보한다.
• 대칭화와 경험 과정 이론을 적용하여 경험적 IPM이 진짜 값에서 벗어나지 않도록 제한하여 일관성을 확보한다.
• Lipschitz 제약 조건 하에서 IPM이 최적의 위험의 음수와 동일하다는 것을 보여주는 IPMs와 이진 분류 위험 간의 이중성 관계를 수립한다.
• Lipschitz 확장 정리와 볼록 해석학(예: 정리 24)을 사용하여 최적 분류기의 구조적 성질과 IPM 거리와의 관련성에 따른 매끄러움을 증명한다.
• 커버링 수와 엔트로피 조건을 사용하여 IPM 추정기의 수렴 속도를 분석하며, 동일한 조건 하에서 φ-발산보다 더 빠른 속도를 보임을 보여준다.

실험 결과

연구 질문

• RQ1 어느 φ-발산들(혹은 없으면)이 동시에 적분 확률 거리(IPMs)인가?
• RQ2 어떻게 IPMs를 유한한 i.i.d. 표본에서 일관되게 추정할 수 있으며, φ-발산의 추정기와 비교해 수렴 속도는 어떠한가?
• RQ3 IPMs와 이진 분류의 최적 위험 간의 관계는 무엇인가?
• RQ4 최적의 이진 분류기의 매끄러움은 조건부 분포 간 IPM과 어떻게 관련이 있는가?
• RQ5 IPMs는 φ-발산보다 계산적·이론적 이점이 있어 실제로 통계학적 학습에서 활용될 수 있는가?

주요 결과

• 총 변동 거리는 비자명한 유일한 φ-발산이며, 同시에 적분 확률 거리(IPMs)이기도 하다. 이는 두 클래스 간의 근본적인 차이를 확립한다.
• IPMs의 경험적 추정기는 일관성이 있으며, 특히 고차원 설정에서 φ-발산의 추정기보다 더 빠른 수렴 속도를 달성한다.
• 조건부 분포 간 IPM은 Lipschitz 제약 조건이 있는 이진 분류기의 최적 위험의 음수와 동일하다.
• 최적의 이진 분류기의 매끄러움은 조건부 분포 간 IPM과 반비례하며, 이는 거리의 기하학적 해석을 제공한다.
• 재생 커널 힐버트 공간(RKHS)의 함수 클래스 등을 사용하여 IPMs를 효율적으로 추정할 수 있으며, 라데마처 복잡도와 맥디아미드의 부등식을 통해 수렴 속도를 유도할 수 있다.
• 대칭화와 농도 부등식을 사용하여 IPM 추정 오차의 이론적 경계를 도출하여 유한 표본 설정에서의 신뢰성을 확보한다.