[논문 리뷰] Statistical and Topological Properties of Sliced Probability Divergences

Kimia Nadjahi, Alain Durmus외 4명|arXiv (Cornell University)|2020. 03. 12.

Statistical Mechanics and Entropy참고 문헌 55인용 수 11

한 줄 요약

이 논문은 기저 발산이 거리 또는 적분 확률 거리일 경우, 슬라이싱이 거리 공리와 약한 수렴과 같은 핵심 거리적 및 위상적 성질을 유지함을 증명함으로써 슬라이스드 확률 발산의 이론적 기초를 구축한다. 또한, 슬라이스드 발산의 표본 복잡도가 차원에 독립적이므로 고차원 환경에서의 통계적 효율성을 설명한다.

ABSTRACT

The idea of slicing divergences has been proven to be successful when comparing two probability measures in various machine learning applications including generative modeling, and consists in computing the expected value of a `base divergence' between one-dimensional random projections of the two measures. However, the topological, statistical, and computational consequences of this technique have not yet been well-established. In this paper, we aim at bridging this gap and derive various theoretical properties of sliced probability divergences. First, we show that slicing preserves the metric axioms and the weak continuity of the divergence, implying that the sliced divergence will share similar topological properties. We then precise the results in the case where the base divergence belongs to the class of integral probability metrics. On the other hand, we establish that, under mild conditions, the sample complexity of a sliced divergence does not depend on the problem dimension. We finally apply our general results to several base divergences, and illustrate our theory on both synthetic and real data experiments.

연구 동기 및 목표

• 슬라이스드 확률 발산의 위상적 및 통계적 성질에 대한 이론적 이해 격차를 메우기 위해.
• 다변량 환경에서 슬라이싱이 기저 발산의 거리 및 수렴 성질에 미치는 영향을 조사하기 위해.
• 슬라이스드 발산의 표본 복잡도를 분석하고, 그 것이 차원과 추정 방법에 어떻게 의존하는지 규명하기 위해.
• Sliced-Wasserstein 및 Sliced-Cramér를 포함한 다양한 기저 발산에 대해 결과를 일반화하고, 이를 실증적으로 검증하기 위해.

제안 방법

• 일차원 측도 위에서 정의된 일반적인 기저 발산 Δ와 다변량 측도의 무작위 투영을 통한 슬라이스드 버전 SΔ를 정의한다.
• Δ가 거리 공리 또는 약한 연속성을 만족할 경우, SΔ가 이러한 성질을 그대로 이어받음을 증명한다.
• Δ가 적분 확률 거리일 경우 SΔ를 분석하고, 상한 유계성 및 강한 동치성에 대한 충분조건을 도출한다.
• SΔ의 표본 복잡도가 일차원에서 Δ의 표본 복잡도와 비례하며, 환경 차원 d에 의존하지 않음을 입증한다.
• 투영 기대값의 몬테카를로 근사가 미치는 영향을 분석하고, 고차원에서 추가적인 분산 항이 나타남을 규명한다.
• 일반적 프레임워크를 특정 발산, 예를 들어 Sliced-Wasserstein 및 Sliced-Sinkhorn에 적용하고, 다양한 가정 하에 분석한다.

실험 결과

연구 질문

• RQ1 슬라이싱은 기저 발산의 거리 및 약한 연속성 성질을 유지하는가?
• RQ2 슬라이스드 발산이 기저 발산과 위상적으로 동치가 되는 조건은 무엇인가?
• RQ3 슬라이스드 발산의 표본 복잡도가 표본 수와 차원 d에 대해 어떻게 척도가 되는가?
• RQ4 투영 기대값의 몬테카를로 근사가 슬라이스드 발산의 통계적 성능에 어떤 영향을 미치는가?
• RQ5 이론적 프레임워크는 Sliced-Cramér나 Sliced-Sinkhorn과 같은 특정 발산에 대해 새로운 결과를 도출하는 데 적용될 수 있는가?

주요 결과

• 기저 발산 Δ가 거리일 경우, 슬라이스드 발산 SΔ 역시 거리이므로 거리 공리를 그대로 유지한다.
• SΔ에서의 수렴이 약한 수렴을 유도하려면, Δ에서의 수렴이 약한 수렴을 유도하는 것과 동치이며, 이는 위상적 행동을 유지함을 의미한다.
• Δ가 적분 확률 거리일 경우, SΔ가 Δ에 의해 상한 유계가 되는 조건을 규명하였으며, 이는 더 약한 위상을 의미한다.
• SΔ의 표본 복잡도는 일차원에서 Δ의 표본 복잡도에 비례하며, 환경 차원 d에 의존하지 않는다.
• 무작위 투영에 대한 기대값을 몬테카를로로 근사할 경우, 고차원에서 성능 저하를 유발할 수 있는 추가적인 분산 항이 나타난다.
• 이 논문은 일반적인 가정 하에 Sliced-Wasserstein 거리에 대한 첫 번째 표본 복잡도 결과를 도출하였으며, Sliced-Sinkhorn 발산에 대한 새로운 이론적 통찰을 제공한다.