[論文レビュー] Tree-Sliced Variants of Wasserstein Distances

Tam Le, Makoto Yamada+2 more|arXiv (Cornell University)|Feb 1, 2019

3D Shape Modeling and Analysis参考文献 59被引用数 3

ひとこと要約

本稿では、高速で閉形式で計算可能な Wasserstein 距離を実現するためにランダムな木構造メトリクスを活用する、最適輸送の新規な変種であるツリー・スライスド・ワーサーテイン距離を提案する。低次元または高次元空間における複数の適応的木構造上でツリー・ワーサーテイン距離を平均化することにより、計算効率を確保するとともに、負定値性を含む統計的性質を維持する。この性質により、下流の機械学習タスクに強力な実証的性能を示す正定値カーネルの構築が可能となる。

ABSTRACT

Optimal transport (\OT) theory defines a powerful set of tools to compare probability distributions. \OT~suffers however from a few drawbacks, computational and statistical, which have encouraged the proposal of several regularized variants of OT in the recent literature, one of the most notable being the extit{sliced} formulation, which exploits the closed-form formula between univariate distributions by projecting high-dimensional measures onto random lines. We consider in this work a more general family of ground metrics, namely extit{tree metrics}, which also yield fast closed-form computations and negative definite, and of which the sliced-Wasserstein distance is a particular case (the tree is a chain). We propose the tree-sliced Wasserstein distance, computed by averaging the Wasserstein distance between these measures using random tree metrics, built adaptively in either low or high-dimensional spaces. Exploiting the negative definiteness of that distance, we also propose a positive definite kernel, and test it against other baselines on a few benchmark tasks.

研究の動機と目的

• 高次元空間における最適輸送（OT）の高い計算コストを解消するため、高速でスケーラブルな代替手法を提案すること。
• 線形射影を木構造メトリクスに置き換えることで、スライスド・ワーサーテイン距離を一般化し、より柔軟で適応的な幾何構造を可能にすること。
• ツリー・ワーサーテイン距離の負定値性を活用して、カーネルベースの機械学習手法に使用可能な正定値カーネルを構築すること。
• 語彙埋め込みに基づく文書分類およびトポロジカル・データ解析を含むベンチマークタスクにおいて、提案手法の実証的優位性を評価すること。

提案手法

• 空間データ構造から抽出したランダムにサンプリングされた木メトリクスを複数用いて計算されたツリー・ワーサーテイン（TW）距離の平均値として、ツリー・スライスド・ワーサーテイン距離を提案する。
• 階層的クラスタリングまたは空間を埋め尽くす曲線（例：ヒルベルト曲線）を用いて、低次元または高次元空間におけるデータを適応的に分割する木メトリクスを構築する。
• 木メトリクス上での Wasserstein 距離の閉形式解を活用することで、完全な OT 問題を解かずに効率的な計算が可能となる。
• ツリー・ワーサーテイン距離の負定値性を活用し、指数変換によって正定値カーネルを導出する。これにより、カーネル法の適用が可能となる。
• データポイントまたはその空間的領域から木構造を構築するために再帰的分割アルゴリズム（例：Partition_HC）を用い、空の部分領域を破棄する。
• 離散的および連続的確率分布の両方に対して適用可能であり、最適輸送の双対性およびメトリック幾何学に基づく理論的基盤を有する。

実験結果

リサーチクエスチョン

• RQ1 木メトリクスは、最適輸送における標準的な基準メトリクスの計算的に効率的な代替手段として機能できるか？
• RQ2 複数のランダム木構造上でツリー・ワーサーテイン距離を平均化することで、確率測度間の安定的かつ情報豊富な発散が得られるか？
• RQ3 ツリー・ワーサーテイン距離の負定値性を活用して、カーネルベースの学習に使用可能な正定値カーネルを構築できるか？
• RQ4 既存のベースライン（例：スライスド・ワーサーテイン距離および標準的OT）と比較して、ツリー・スライスド・ワーサーテイン距離は下流の機械学習タスクで優れた性能を示すか？

主な発見

• ツリー・スライスド・ワーサーテイン距離は、標準的OTに比べて顕著な高速化を達成しながら、ベンチマークデータセット上でも競争力ある性能を維持している。
• 語彙埋め込みに基づく文書分類タスクにおいて、スライスド・ワーサーテイン距離および標準的OTを含むベースライン手法を上回っている。
• ツリー・スライスド距離に基づく提案された正定値カーネルは、特に恒常的図の分類において、トポロジカル・データ解析で最先端の結果を達成している。
• 複数のランダム木構造による平均化により、階層的クラスタリングや分割におけるクラスタ感度および量子化誤差の問題を緩和している。
• 理論的分析により、ツリー・ワーサーテイン距離が負定値であることが確認され、指数変換によって有効な正定値カーネルを構築できることが裏付けられている。