[論文レビュー] Distributional Sliced-Wasserstein and Applications to Generative Modeling

Khai Nguyen, Nhat Ho+2 more|arXiv (Cornell University)|Feb 17, 2020

3D Shape Modeling and Analysis被引用数 18

ひとこと要約

本稿では、分布としての投影方向の最適な分布を学習することで、方向の多様性と情報量の両立を図る、新たな最適輸送距離であるDistributional Sliced-Wasserstein (DSW) を提案する。直交性を正則化することで、SW や Max-SW よりも高いサンプル効率と生成モデル性能を達成し、MNIST、CelebA、CIFAR10、LSUN において、より少ない投影数で最先端の結果を達成する。

ABSTRACT

Sliced-Wasserstein distance (SW) and its variant, Max Sliced-Wasserstein distance (Max-SW), have been used widely in the recent years due to their fast computation and scalability even when the probability measures lie in a very high dimensional space. However, SW requires many unnecessary projection samples to approximate its value while Max-SW only uses the most important projection, which ignores the information of other useful directions. In order to account for these weaknesses, we propose a novel distance, named Distributional Sliced-Wasserstein distance (DSW), that finds an optimal distribution over projections that can balance between exploring distinctive projecting directions and the informativeness of projections themselves. We show that the DSW is a generalization of Max-SW, and it can be computed efficiently by searching for the optimal push-forward measure over a set of probability measures over the unit sphere satisfying certain regularizing constraints that favor distinct directions. Finally, we conduct extensive experiments with large-scale datasets to demonstrate the favorable performances of the proposed distances over the previous sliced-based distances in generative modeling applications.

研究の動機と目的

• 方向を一様にサンプリングすることで、Sliced-Wasserstein (SW) が多数の投影を必要としている非効率性を解消すること。
• Max-Sliced-Wasserstein (Max-SW) が唯一の最適方向のみを用いるため生じる情報損失を克服すること。
• 多様性と情報量の両方を最大化する、整合的な確率的枠組みとしての投影方向の分布を学習する。
• 幾何学的正則化を用いて投影分布を最適化することで、サンプル効率と生成モデル性能を向上させること。
• 大規模データセットにおける線形および非線形設定において、DSW が既存のスライスド・ワーサーテイン距離の変種を上回ることを実証すること。

提案手法

• DSW を Max-SW の一般化として提案し、投影分布を固定するのではなく、学習可能にする。
• 単位球面上の確率測度の最適化問題として DSW を定式化し、直交的かつ多様な方向を促進する制約を設ける。
• 球面上で方向が離れているように促す正則化項を導入し、データ多様体のカバーを向上させる。
• ニューラルネットワークを用いて球面上の最適なプッシュフォワード測度を近似する双対経験的形態を採用し、エンドツーエンド学習を可能にする。
• 非線形性を実現するための円周関数を用いた一般化 DSW (DGSW) を導入し、非線形投影への拡張を図る。
• 投影分布の微分可能緩和を用いて、確率的勾配降下法により最適化を解く。

実験結果

リサーチクエスチョン

• RQ1 学習可能な投影方向の分布は、高次元分布におけるスライスド・ワーサーテイン距離のサンプル効率と精度を向上させることができるか？
• RQ2 生成モデルタスクにおいて、同じ数の投影を用いた場合、DSW は SW や Max-SW よりも優れた性能を示すか？
• RQ3 投影空間における方向の多様性を正則化することで、一般化性能と再構成品質が向上するか？
• RQ4 提案された分布的枠組みは、計算効率と性能を維持したまま非線形投影へ拡張可能か？
• RQ5 他のスライスド・ワーサーテイン距離の変種と比較して、DSW は共同推論および画像再構成タスクでどのように性能を発揮するか？

主な発見

• DSW は、MNIST、CelebA、CIFAR10、LSUN というすべてのベンチマークデータセットで、SW や Max-SW よりも優れた性能を達成した。
• わずか 10 個の投影でも、DSW は MNIST の数字を正しく再構成できたが、SW や GSW は認識可能な画像を生成できなかった。
• DSW-1000 は、再構成誤差や分布類似性を含むすべての評価指標で、他のベースラインを上回る最高の性能を達成した。
• 非線形バージョンである DGSW は、他の非線形スライスド・ワーサーテイン距離を上回り、特に共同推論タスクで顕著な優位性を示した。
• Max-GSW-NN も良好な性能を示したが、DGSW に劣っており、1つの方向を最適化するのではなく、方向の分布を学習することがより効果的であることが示された。
• アブレーションスタディにより、方向の多様性に対する正則化が性能を顕著に向上させることが確認され、正則化なしの DSW は特殊ケースとして Max-SW に還元された。