[논문 리뷰] Monte Carlo Information Geometry: The dually flat case

Frank Nielsen, Gaëtan Hadjeres|arXiv (Cornell University)|2018. 03. 20.

Statistical Mechanics and Entropy참고 문헌 32인용 수 9

한 줄 요약

이 논문은 적분 기반 생성자에서 정확한 Bregman 생성자가 계산이 불가능한 지수형 가족 및 혼합 가족에서 이원적으로 평탄한 정보 기하학을 위한 계산적으로 타당한 프레임워크인 몬테카를로 정보 기하학(MCIG)을 소개한다. 적분 기반 생성자를 근사하기 위해 독립 동일분포(i.i.d.) 표본을 사용하는 스토케스틱 몬테카를로 적분을 활용함으로써 MCIG는 거의 확실한 엄밀한 볼록성과 실용적인 Bregman 알고리즘 적용을 보장하며, 이는 혼합 다양체에서의 군집화를 통해 입증된다.

ABSTRACT

Exponential families and mixture families are parametric probability models that can be geometrically studied as smooth statistical manifolds with respect to any statistical divergence like the Kullback-Leibler (KL) divergence or the Hellinger divergence. When equipping a statistical manifold with the KL divergence, the induced manifold structure is dually flat, and the KL divergence between distributions amounts to an equivalent Bregman divergence on their corresponding parameters. In practice, the corresponding Bregman generators of mixture/exponential families require to perform definite integral calculus that can either be too time-consuming (for exponentially large discrete support case) or even do not admit closed-form formula (for continuous support case). In these cases, the dually flat construction remains theoretical and cannot be used by information-geometric algorithms. To bypass this problem, we consider performing stochastic Monte Carlo (MC) estimation of those integral-based mixture/exponential family Bregman generators. We show that, under natural assumptions, these MC generators are almost surely Bregman generators. We define a series of dually flat information geometries, termed Monte Carlo Information Geometries, that increasingly-finely approximate the untractable geometry. The advantage of this MCIG is that it allows a practical use of the Bregman algorithmic toolbox on a wide range of probability distribution families. We demonstrate our approach with a clustering task on a mixture family manifold.

연구 동기 및 목표

• 복잡한 적분으로 인해 지수형 가족 및 혼합 가족에서 Bregman 생성자가 계산이 불가능한 문제를 해결하기 위해.
• 닫힌 형식의 생성자가 없는 통계 다양체에서 Bregman 기반 알고리즘(예: k-means)의 실용적 사용을 가능하게 하기 위해.
• 몬테카를로 근사를 통해 정보 기하학 계산을 일관되고 확장 가능하며 분산 가능한 프레임워크로 개발하기 위해.
• 약간의 정규성 조건 하에 몬테카를로 추정 생성자가 거의 확실하게 유효한 Bregman 생성자임을 보장하는 이론적 보장을 수립하기 위해.

제안 방법

• 기본 분포에서의 i.i.d. 표본을 사용한 몬테카를로 샘플링을 통해 지수형 가족 및 혼합 가족의 적분 기반 Bregman 생성자를 근사한다.
• 스토케스틱 Bregman 생성자를 기반으로 구성된 이원적으로 평탄한 구조인 몬테카를로 정보 기하학(MCIG)을 정의하며, 거의 확실한 엄밀한 볼록성과 미분 가능성 보장.
• Bregman 발산의 구성성질을 활용하여 다중 코어 또는 클러스터 아키텍처에서 MapReduce를 통해 병렬 및 분산 계산을 가능하게 한다.
• 독립된 표본 집합에서의 부분 생성자를 집계하기 위해, 혼합 가족의 경우 가중 산술 평균과 지수 가족의 경우 지수 평균을 사용한다.
• 분산 환경에서의 안정적인 추정을 위해 다수의 MCIG를 결합하기 위해 KL-평균화를 적용한다.
• 약간의 정규성 조건 하에, 몬테카를로 생성 함수가 거의 확실하게 Bregman 생성자임을 증명함으로써 이론적 타당성을 확보한다.

실험 결과

연구 질문

• RQ1 몬테카를로 샘플링은 지수형 가족 및 혼합 가족에서 계산이 불가능한 Bregman 생성자를 신뢰성 있게 근사할 수 있는가?
• RQ2 결과적으로 도출된 몬테카를로 Bregman 생성자는 Bregman 알고리즘에 필요한 이원적으로 평탄한 구조를 유지하는가?
• RQ3 MCIG는 다중 코어 또는 분산 아키텍처에서 효율적으로 병렬화되고 확장 가능한가?
• RQ4 표본 크기가 증가함에 따라 MCIG가 이상적인 정보 기하학에 수렴하는 방식은 어떻게 되는가?
• RQ5 MCIG 기반 알고리즘에서 정확도와 효율성 사이의 계산적이고 통계적 트레이드오프는 어떠한가?

주요 결과

• 혼합 가족에 대한 몬테카를로 추정 Bregman 생성자는 거의 확실하게 엄밀한 볼록성과 미분 가능성을 보장하여 유효한 이원적으로 평탄한 기하학을 형성한다.
• 지수 가족에 대한 몬테카를로 추정 Bregman 생성자 역시 거의 확실하게 엄밀한 볼록성과 미분 가능성을 보장하여 알고리즘 적용이 가능하다.
• MCIG는 MapReduce를 통한 병렬 및 분산 계산을 지원하며, 혼합 가족 생성자는 가중 산술 평균으로, 지수 가족 생성자는 부분 생성자의 지수 평균으로 계산된다.
• MCIG 프레임워크는 혼합 가족 다양체에서 실용적인 Bregman k-means 군집화를 가능하게 하여 실제 작업에서의 유용성을 입증한다.
• 이론적 수렴 보장이 성립한다: 표본 크기가 증가함에 따라 MCIG는 점차 이상적이지만 계산이 불가능한 정보 기하학을 수렴한다.
• 분산 계산 환경에서도 방법은 강건하며, KL-평균화를 통한 매개변수 집합은 다수의 MCIG 인스턴스 간 일관된 추정을 제공한다.