[論文レビュー] Augmented Sliced Wasserstein Distances

Xiongjie Chen, Yongxin Yang+1 more|arXiv (Cornell University)|Jun 15, 2020

Advanced Numerical Analysis Techniques参考文献 39被引用数 4

ひとこと要約

本稿では、ニューラルネットワークで定義される超曲面にデータをマッピングした後、非線形射影を適用することにより、ワサースタイン距離の近似の計算効率と精度を向上させる、新しいメトリックである拡張スライスドワサースタイン距離（ASWD）を提案する。本手法は、データに適応する柔軟な非線形スライシングを可能にすることで、特に高次元空間において、射影効率とメトリックの妥当性を向上させ、従来の手法に比べ優れた性能を発揮する。

ABSTRACT

While theoretically appealing, the application of the Wasserstein distance to large-scale machine learning problems has been hampered by its prohibitive computational cost. The sliced Wasserstein distance and its variants improve the computational efficiency through the random projection, yet they suffer from low accuracy if the number of projections is not sufficiently large, because the majority of projections result in trivially small values. In this work, we propose a new family of distance metrics, called augmented sliced Wasserstein distances (ASWDs), constructed by first mapping samples to higher-dimensional hypersurfaces parameterized by neural networks. It is derived from a key observation that (random) linear projections of samples residing on these hypersurfaces would translate to much more flexible nonlinear projections in the original sample space, so they can capture complex structures of the data distribution. We show that the hypersurfaces can be optimized by gradient ascent efficiently. We provide the condition under which the ASWD is a valid metric and show that this can be obtained by an injective neural network architecture. Numerical results demonstrate that the ASWD significantly outperforms other Wasserstein variants for both synthetic and real-world problems.

研究の動機と目的

• 大規模な機械学習における従来のワサースタイン距離およびスライスドワサースタイン距離の高い計算コストと低い射影効率を解消すること。
• 標準的なスライスドワサースタイン距離における線形射影の制限を克服すること。これは高次元空間においてしばしば自明に小さい距離を生じさせる。
• 理論的妥当性を保ちつつ、学習された非線形射影を通じて複雑なデータ構造を捉えることができる、微分可能でスケーラブルなメトリックを開発すること。
• 勾配ベース最適化と互換性を持つ距離メトリックを確保することで、深層生成モデルにおけるエンドツーエンド学習を可能にすること。

提案手法

• 入力サンプルを単射ニューラルネットワークを用いて高次元の超曲面にマッピングし、データ分布を非線形多様体に変換する。
• その後、埋め込みられた超曲面に対して線形射影を適用することで、元のデータ空間における柔軟な非線形射影を実現する。
• ASWDは、変換された分布の一次元射影間の期待ワサースタイン距離として定義され、ソーティングを用いて効率的に計算される。
• 超曲面のパラメータは勾配上昇法により最適化され、射影された分布間の距離を最大化することで識別性能を向上させる。
• ASWDが有効なメトリックであるための理論的条件が導出され、ニューラルネットワークが単射であることと、射影分布が十分に豊かであることの2条件を要件としている。
• 本アプローチはエンドツーエンド学習をサポートし、微分可能なソルバーとも互換性があり、ディープラーニングパイプラインへの統合が可能である。

実験結果

リサーチクエスチョン

• RQ1 学習された超曲面から導出される非線形でデータに適応するスライシングは、高次元空間におけるスライスドワサースタイン距離の射影効率を顕著に向上させることができるか？
• RQ2 ニューラルネットワークの埋め込みとランダム射影を用いて構築されたASWDは、理論的に有効なメトリックとしての性質を保っているか？
• RQ3 合成および実世界の分布において、ASWDはSWD、Max-SWD、GSWD、DSWDといった従来の変種と比較して、精度および計算効率の点で優れているか？
• RQ4 少数の射影数（例：10個）でASWDが高い性能を発揮できるか。これにより計算コストを削減しながらも、識別力は維持されるか？

主な発見

• ASWDは、合成的および実世界のタスクにおいて、SWD、Max-SWD、GSWD、DSWDを顕著に上回り、特に100次元ガウス分布のような高次元設定で顕著な優位性を示す。
• 10個の射影のみで、ASWDは色移しタスクにおける画像変換の質がSWDやMax-SWDよりも明確に鋭く、現実的になる。
• ASWDが生成するバーリオンセンターは幾何学的に意味を持つものであり、完全なワサースタインバーリオンセンターと同等の品質を達成している。一方で、SWD や DSWD よりも計算がより効率的である。
• 100次元空間におけるヒストグラムの結果から、ASWDはSWDにおける線形射影よりも高い射影効率を示しており、自明に小さい距離が発生する頻度が少ないことが明らかになった。
• 単射ニューラルネットワークの使用により、ASWDは有効なメトリックであるための条件を満たしており、理論的根拠が与えられている。