[論文レビュー] Tree-Wasserstein Barycenter for Large-Scale Multilevel Clustering and Scalable Bayes

Tam Le, Viet Huynh+3 more|arXiv (Cornell University)|Oct 10, 2019

Anomaly Detection Techniques and Applications参考文献 42被引用数 4

ひとこと要約

本稿では、木構造の地面距離を活用することで、大規模な多段階クラスタリングおよびスケーラブルなベイズ推論において、Wasserstein バリオセントラの効率的な計算を可能にする、新しい手法である木-Wasserstein バリオセントラを提案する。木距離の構造を活用することで、$ε$-正則化最適化と木ベースの射影を用いて高速かつメモリ効率の良い計算が可能となり、Sinkhornに基づくベースラインと比較して最大50%の高速化を達成しながら、数千のサポートを持つ高次元データに対しても高い精度を維持する。

ABSTRACT

We study in this paper a variant of Wasserstein barycenter problem, which we refer to as tree-Wasserstein barycenter, by leveraging a specific class of ground metrics, namely tree metrics, for Wasserstein distance. Drawing on the tree structure, we propose an efficient algorithmic approach to solve the tree-Wasserstein barycenter and its variants. The proposed approach is not only fast for computation but also efficient for memory usage. Exploiting the tree-Wasserstein barycenter and its variants, we scale up multi-level clustering and scalable Bayes, especially for large-scale applications where the number of supports in probability measures is large. Empirically, we test our proposed approach against other baselines on large-scale synthetic and real datasets.

研究の動機と目的

• 高次元かつ多数のサポートを持つ設定における、従来の Wasserstein バリオセントラ計算のスケーラビリティの限界を克服すること。
• 木距離を地面距離として用いることで、Wasserstein バリオセントラを計算するための効率的なアルゴリズムフレームワークを構築すること。
• 多数の確率測度のサポートを持つ大規模データセットに対して、多段階クラスタリングおよびスケーラブルなベイズ推論をスケーリングすること。
• Sinkhorn やスライスド・Wasserstein バリオセントラなどの既存のベースラインと比較して、優れた計算効率と精度を示すことを実証すること。

提案手法

• 最適輸送における木距離を地面距離として用い、木構造の射影を用いて閉形式の解が得られ、高速な計算が可能になる。
• 木-Wasserstein バリオセントラ問題にエントロピー正則化を適用し、木マップされた確率測度上で Sinkhorn に類似したアルゴリズムを用いて効率的な最適化を実現する。
• 遠方点サンプリングを用いたクラスタリングに基づく木距離構築により、データの幾何を保つ階層的な木構造を構築する。
• 木における重心の性質を活用して、バリオセントラのサポート数に対する制約を緩和し、有界なサポートを有するバージョンを可能にする。
• バリオセントラからの重み付きサンプルを用いて、スケーラブルなベイズ推論における事後分布を近似する。
• 事後分布のサンプリングに no-U-turn sampling (NUTS) を用い、複数の木構成におけるバリオセントラに基づく近似を比較する。

実験結果

リサーチクエスチョン

• RQ1 標準的なOTやスライスドOTと比較して、木構造の地面距離は、Wasserstein バリオセントラの計算をより高速かつメモリ効率よく可能にするか？
• RQ2 高次元データと多数のサポートを持つ大規模な多段階クラスタリングにおいて、木-Wasserstein バリオセントラはどのように性能を発揮するか？
• RQ3 大規模な事後分布サンプルを用いたベイズ推論において、木-Wasserstein バリオセントラはスケーラビリティと精度をどの程度向上させるか？
• RQ4 距離構築における木の数や木の深さの変化に、近似の品質はどの程度敏感か？

主な発見

• 事後分布の推定にたった30個のサンプルしか使用しない場合、本手法は Sinkhorn ベースラインの実行時間の半分未満を達成する。
• 100本の木を用いる場合、ランダム効果の共分散行列の推定において絶対誤差を 0.67425 にまで低減し、Sinkhorn ベースライン（0.751236）およびスライスド・Wasserstein（k=30 時に 0.678854）を上回る性能を示す。
• 木の数を増やすことで推定の信頼性が向上し、共分散行列推定における誤差の平均値と標準偏差が低下する。
• サポート数が最大3,000に達しても、本手法は高い精度を維持するが、Sinkhorn やスライスド・Wasserstein ベースラインは性能の劣化や停滞を示す。
• 本手法は高次元データに対して頑健であり、1次元の投影手法であるスライスド・Wasserstein よりも、元のサポート分布の構造的性質をよりよく保持する。
• 木-Wasserstein バリオセントラは、バリオセントラにおけるサポート数の明示的指定を必要とせず、多段階クラスタリングおよびベイズ推論をスケーラブルに可能にする。