[論文レビュー] Monte Carlo Information Geometry: The dually flat case

Frank Nielsen, Gaëtan Hadjeres|arXiv (Cornell University)|Mar 20, 2018

Statistical Mechanics and Entropy参考文献 32被引用数 9

ひとこと要約

本稿では、積分に基づく生成子が計算的に困難な指数型および混合型分布族における双対平坦な情報幾何の計算可能で実用的な枠組みとして、モンテカルロ情報幾何（MCIG）を提案する。確率的モンテカルロ積分を用いて積分に基づく生成子を近似することで、MCIGはほとんど確実に強い凸性を保証し、実用的なBregmanアルゴリズムの適用を可能にする。その有効性は、混合型多様体上でのクラスタリングによって実証されている。

ABSTRACT

Exponential families and mixture families are parametric probability models that can be geometrically studied as smooth statistical manifolds with respect to any statistical divergence like the Kullback-Leibler (KL) divergence or the Hellinger divergence. When equipping a statistical manifold with the KL divergence, the induced manifold structure is dually flat, and the KL divergence between distributions amounts to an equivalent Bregman divergence on their corresponding parameters. In practice, the corresponding Bregman generators of mixture/exponential families require to perform definite integral calculus that can either be too time-consuming (for exponentially large discrete support case) or even do not admit closed-form formula (for continuous support case). In these cases, the dually flat construction remains theoretical and cannot be used by information-geometric algorithms. To bypass this problem, we consider performing stochastic Monte Carlo (MC) estimation of those integral-based mixture/exponential family Bregman generators. We show that, under natural assumptions, these MC generators are almost surely Bregman generators. We define a series of dually flat information geometries, termed Monte Carlo Information Geometries, that increasingly-finely approximate the untractable geometry. The advantage of this MCIG is that it allows a practical use of the Bregman algorithmic toolbox on a wide range of probability distribution families. We demonstrate our approach with a clustering task on a mixture family manifold.

研究の動機と目的

• 複雑な積分に起因する、指数型および混合型分布族におけるBregman生成子の計算的非可解性に対処すること。
• 閉形式の生成子が得られない統計的多様体において、Bregmanに基づくアルゴリズム（例：k-means）の実用的利用を可能にすること。
• モンテカルロ近似を用いた一貫性があり、スケーラブルで分散処理可能な情報幾何計算のフレームワークを構築すること。
• 弱い正則性条件の下で、MC-推定生成子がほとんど確実に有効なBregman生成子のままであることを理論的に保証すること。

提案手法

• 指数型および混合型分布族の積分に基づくBregman生成子を、元の分布からのi.i.d.標本を用いたモンテカルロサンプリングで近似する。
• モンテカルロ情報幾何（MCIG）を、確率的Bregman生成子から構築された双対平坦構造として定義し、ほとんど確実に強い凸性と微分可能性を保証する。
• Bregman散発の合成性を活用し、マルチコアまたはクラスタアーキテクチャにおけるMapReduceを用いた並列・分散計算を可能にする。
• 独立な標本集合からの部分生成子を統合するために、混合型分布族では加重算術平均、指数型分布族では指数平均を用いる。
• 分散環境下での頑健な推定を実現するため、複数のMCIG間でパラメータをKL平均化して統合する。
• 弱い正則性条件の下で、MC生成関数がほとんど確実にBregman生成子のままであることを証明することで理論的妥当性を保証する。

実験結果

リサーチクエスチョン

• RQ1 モンテカルロサンプリングは、指数型および混合型分布族における計算的に困難なBregman生成子を信頼性高く近似できるか？
• RQ2 得られるモンテカルロBregman生成子は、Bregmanアルゴリズムに必要な双対平坦構造を保持するか？
• RQ3 MCIGはマルチコアまたは分散アーキテクチャ上で効率的に並列化・スケーリング可能か？
• RQ4 標本サイズが増加する際、MCIGの収束が理想の情報幾何にどのように近づくか？
• RQ5 MCIGベースのアルゴリズムにおいて、精度と効率の間の計算的・統計的トレードオフはどのように変化するか？

主な発見

• 混合型分布族におけるモンテカルロ推定Bregman生成子は、ほとんど確実に強く凸であり、微分可能であるため、有効な双対平坦幾何を保証する。
• 指数型分布族におけるモンテカルロ推定Bregman生成子についても、ほとんど確実に強く凸であり、微分可能であるため、アルゴリズム的利用が可能である。
• MCIGはMapReduceを介した並列・分散計算をサポートし、混合型分布族の生成子は加重算術平均、指数型分布族の生成子は部分生成子の指数平均として計算される。
• MCIGフレームワークにより、混合型分布族多様体上での実用的Bregman k-meansクラスタリングが可能となり、実世界のタスクにおける有効性が実証された。
• 理論的収束保証が成立する：標本サイズが増加するにつれて、MCIG構造は理想の計算的に困難な情報幾何に漸近的に近づく。
• 分散処理下でも頑健性を保ち、複数のMCIGインスタンス間でKL平均化によるパラメータ統合により、一貫した推定が実現される。