[論文レビュー] Generalized Sliced Wasserstein Distances

Soheil Kolouri, Kimia Nadjahi+3 more|arXiv (Cornell University)|Feb 1, 2019

Advanced Numerical Analysis Techniques被引用数 17

ひとこと要約

本稿では、多項式や円関数などの非線形射影を用いた一般化ラドン変換により、スライスド・ワサーライン距離を拡張することで一般化スライスド・ワサーライン（GSW）距離を導入する。さらに、1つの最適な射影を用いることで計算コストを著しく削減する最大GSW（max-GSW）距離を提案する。この方法はメトリック性を維持しつつ、生成モデルタスクにおいて標準的なスライスド・ワサーラインを上回る性能を示す。

ABSTRACT

The Wasserstein distance and its variations, e.g., the sliced-Wasserstein (SW) distance, have recently drawn attention from the machine learning community. The SW distance, specifically, was shown to have similar properties to the Wasserstein distance, while being much simpler to compute, and is therefore used in various applications including generative modeling and general supervised/unsupervised learning. In this paper, we first clarify the mathematical connection between the SW distance and the Radon transform. We then utilize the generalized Radon transform to define a new family of distances for probability measures, which we call generalized sliced-Wasserstein (GSW) distances. We also show that, similar to the SW distance, the GSW distance can be extended to a maximum GSW (max-GSW) distance. We then provide the conditions under which GSW and max-GSW distances are indeed distances. Finally, we compare the numerical performance of the proposed distances on several generative modeling tasks, including SW flows and SW auto-encoders.

研究の動機と目的

• 高次元データにおけるスライスド・ワサーライン距離の高い計算コストを解消するため、線形射影を非線形射影へ一般化すること。
• 一般化スライスド・ワサーライン距離が有効なメトリックであるための理論的条件を確立すること。
• 1つの最適な射影を用いることで射影の複雑さを低減する最大GSW距離を提案すること。
• 自動エンコーダーやフローモデルなどの生成モデルタスクにおいて、GSWおよびmax-GSWの性能を実験的に検証すること。
• ニューラルネットワークを用いて一般化ラドン変換の定義関数を近似する可能性を検討すること。

提案手法

• 本稿では、一般化ラドン変換を用いて線形射影を非線形写像に置き換えることで、スライスド・ワサーライン距離を一般化する。
• GSW距離は、確率測度の非線形多様体への射影におけるp-ワサーライン距離の平均として定義される。
• max-GSW距離は、射影空間上で最適化を実行し、射影されたワサーライン距離を最大にする1つの射影を選択することで定式化される。
• GSWおよびmax-GSW距離がメトリックの公理を満たすための理論的条件が導出される。
• 本手法は、SWAEおよびSWフローアーキテクチャに適用され、目的関数において標準的なSW距離の代わりにGSWおよびmax-GSWが使用される。
• 実験では、多項式、円関数、同次多項式（3次）の定義関数を用い、MNISTおよび合成データ上で性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 一般化ラドン変換による非線形射影は、確率測度に対して有効な距離メトリックを生成できるか？
• RQ2 一般化スライスド・ワサーライン距離が適切なメトリックであるための条件は何か？
• RQ3 1つの最適な射影に基づく最大GSW距離は、計算コストを低減しつつもメトリック性を維持できるか？
• RQ4 GSWおよびmax-GSW距離は、標準的なスライスド・ワサーラインと比較して、生成モデルタスクで優れた性能を示すか？
• RQ5 非線形射影は、線形射影よりも高次元データ分布の内在的な幾何構造をより効果的に捉えることができるか？

主な発見

• 多項式または円関数を定義関数とするGSW距離は、自動エンコーダーやフローモデルにおいて、線形射影よりもデータ分布の非線形幾何をより効果的に捉えている。
• max-GSW距離は、最先端のGANベース手法であるWAE-GANと同等の性能を示し、潜在分布と事前分布の一致を実現している。
• SWAE訓練において、3次多項式射影を用いたGSWAEは、線形または円関数射影よりも符号化分布と事前分布の間の2-ワサーライン距離を低く抑えている。
• max-GSWAEモデルは、入力分布と再構成分布の間の2-ワサーライン距離をSWAEよりも低く抑え、より優れた生成品質を示している。
• 提案されたGSWおよびmax-GSW距離は、データ構造を捉えるために必要な射影の数を顕著に削減し、計算負荷を低減している。
• 実験結果から、非線形射影は合成データおよび実世界データの両方において、収束速度の向上とより優れた分布一致を実現していることが示された。