[論文レビュー] Estimating Barycenters of Measures in High Dimensions

Samuel N. Cohen, Michael Arbel+1 more|arXiv (Cornell University)|Jul 14, 2020

Markov Chains and Monte Carlo Methods参考文献 39被引用数 8

ひとこと要約

本稿では、高次元空間における確率測度のバリセンターを推定するための生成的モデリング手法を提案する。従来のディラック質量による離散的表現ではなく、深層生成モデルによるパrameter化により次元の呪いを回避する。この手法により、MNIST や CelebA などの高次元画像データ（10⁴次元以上、10⁵点まで）に対してスケーラブルかつ構造を考慮したバリセンター推定が可能となり、最小の滑らかさ仮定のもとで局所的収束保証を達成する。性能は最先端水準に達し、状態を凌駕する。

ABSTRACT

Barycentric averaging is a principled way of summarizing populations of measures. Existing algorithms for estimating barycenters typically parametrize them as weighted sums of Diracs and optimize their weights and/or locations. However, these approaches do not scale to high-dimensional settings due to the curse of dimensionality. In this paper, we propose a scalable and general algorithm for estimating barycenters of measures in high dimensions. The key idea is to turn the optimization over measures into an optimization over generative models, introducing inductive biases that allow the method to scale while still accurately estimating barycenters. We prove local convergence under mild assumptions on the discrepancy showing that the approach is well-posed. We demonstrate that our method is fast, achieves good performance on low-dimensional problems, and scales to high-dimensional settings. In particular, our approach is the first to be used to estimate barycenters in thousands of dimensions.

研究の動機と目的

• 従来のディラック質量ベースの手法が低次元空間（例：R≤3）に限られる次元の呪いを克服する。
• 画像データ（R>10,000次元）のような高次元データ空間におけるスケーラブルなバリセンター推定を実現する。既存手法では失敗する領域をカバーする。
• パラメトリックな生成モデルを通じてインダクティブバイアス（例：CNN構造）をバリセンター推定に組み込み、サンプル品質と収束速度を向上させる。
• 差違関数に関する弱い仮定のもとで、提案された最適化フレームワークの理論的収束保証を提供する。
• 非玩具的で高次元のデータセット（例：MNIST, CelebA）に対して、本手法の有効性を実証する。複数の差違関数（MMD, SMMD, Sinkhorn）を用いる。

提案手法

• バリセンターをディラックデルタの重み付き和ではなく、生成モデル（例：深層CNN）の出力としてパrameter化することで、最適化対象をモデルパラメータに変換する。
• 生成測度とターゲットバリセンター（入力測度の重み付き和）との差違（例：MMD, Sinkhorn）を最小化するように生成モデルのパラメータを最適化する。
• 微分可能差違測度（MMD, 最適化MMD（SMMD）、Sinkhorn）を用い、高次元空間における勾配ベース最適化を可能にする。
• 生成器に構造的インダクティブバイアス（例：畳み込み層）を組み込み、グローバルな構造を強制し、一般化性能とサンプル品質を向上させる。
• リプシッツ滑らかさまたは弱凸性および差違関数のリプシッツ連続性という弱い仮定のもとで、局所的収束を証明する。
• 関数的勾配降下法とディープカーネル法を活用し、高次元サポートを持つ大規模画像データセットにおけるスケーラブルな最適化を実現する。

実験結果

リサーチクエスチョン

• RQ1 生成モデルによるパラメータ化は、高次元測度におけるバリセンター推定の次元の呪いを効果的に回避できるか？
• RQ2 インダクティブバイアス（例：CNN）を組み込むことで、画像空間におけるバリセンター推定の品質とスケーラビリティはどのように向上するか？
• RQ3 提案手法は一般の差違関数に対して局所的収束を達成するか？また、最小限の仮定は何か？
• RQ4 本手法は、10⁴次元以上、10⁵点を超える非合成的高次元データセット（例：MNIST, CelebA）にスケーリング可能か？
• RQ5 MMD、SMMD、Sinkhorn差違によるバリセンターは、画像データにおいて挙動と視覚的品質でどのように異なるか？

主な発見

• 本手法は、10⁴次元以上、10⁵点を超える高次元画像データ（例：MNIST, CelebA）に対してバリセンターを効果的に計算でき、かつてない規模で最先端の性能を達成した。
• SMMDバリセンターは、クラス間の特徴を平均化する意味のある多様なサンプルを生成し、内挿的挙動ではなく混合的挙動を示す。
• 男性と女性の顔の CelebA バリセンターは、両グループの特徴を効果的に融合した高品質で現実的な画像を生成し、高次元サポートにおける優れた一般化能力を示した。
• 差違関数がリプシッツ滑らかまたは弱凸かつリプシッツ連続である場合、局所的収束が保証され、Sinkhorn やディープカーネルを用いたMMDに対しても同様に成立する。
• CNNベースの生成器を組み込むことで、局所的かつ非構造的なパラメータ化に比べ、特に高次元においてサンプル品質と収束速度が顕著に向上した。
• 本手法は GAN を一般化し、複数の分布（P>1）に対する目的関数を拡張し、柔軟な差違選択を可能にすることで、測度間の構造的平均化を実現した。