[論文レビュー] Revisiting Sliced Wasserstein on Images: From Vectorization to Convolution

Khai Nguyen, Nhat Ho|arXiv (Cornell University)|Apr 4, 2022

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本稿では、画像生成における従来のスライス Wasserstein (SW) の制限を克服するために、ベクトル化された投影を学習可能な畝込み演算子に置き換えることで、畝込みスライス Wasserstein (CSW) 及びその変種を提案する。ストライド、ドレージョン、非線形活性化を畝込み層に組み込むことで、CSW は空間的構造を保持し、メモリ使用量を削減し、CIFAR10、STL10、CelebA-HQ における生成モデルの学習において、収束速度が速く、性能が優れるようになる。

ABSTRACT

The conventional sliced Wasserstein is defined between two probability measures that have realizations as vectors. When comparing two probability measures over images, practitioners first need to vectorize images and then project them to one-dimensional space by using matrix multiplication between the sample matrix and the projection matrix. After that, the sliced Wasserstein is evaluated by averaging the two corresponding one-dimensional projected probability measures. However, this approach has two limitations. The first limitation is that the spatial structure of images is not captured efficiently by the vectorization step; therefore, the later slicing process becomes harder to gather the discrepancy information. The second limitation is memory inefficiency since each slicing direction is a vector that has the same dimension as the images. To address these limitations, we propose novel slicing methods for sliced Wasserstein between probability measures over images that are based on the convolution operators. We derive convolution sliced Wasserstein (CSW) and its variants via incorporating stride, dilation, and non-linear activation function into the convolution operators. We investigate the metricity of CSW as well as its sample complexity, its computational complexity, and its connection to conventional sliced Wasserstein distances. Finally, we demonstrate the favorable performance of CSW over the conventional sliced Wasserstein in comparing probability measures over images and in training deep generative modeling on images.

研究の動機と目的

• 画像のベクトル化に起因する従来のスライス Wasserstein (SW) における非効率性と構造的損失を解消すること。
• 標準的な SW が高次元の投影ベクトルを保存するためのメモリ非効率性を解消すること。
• 畝込み演算子によるスライシングの再定義を通じて、SW で学習される深層生成モデルの品質と収束速度を向上させること。
• 提案された畝込みスライシングフレームワークの度合い、サンプル複雑性、計算効率性を調査すること。
• 複数のデータセットにおける画像生成ベンチマークで、標準的な SW に比べて CSW が優れた性能を示すことを実証すること。

提案手法

• 画像テンソルを一次元空間に投影する際、標準的な行列乗算を畝込み演算に置き換えることで、空間的構造を保持する。
• カーネルサイズ、ストライド、ドレージョンを備えた学習可能な畝込みフィルタを用いて、空間的に注意を払ったスライシングを可能にする畝込みスライス Wasserstein (CSW) を導入する。
• ReLU などの非線形活性化関数やプーリング機構を組み込むことで、表現能力を向上させる CSW の変種を設計する。
• CSW 距離を、畝込み投影のモンテカルロサンプリングにより近似した一次元 Wasserstein 距離の期待値として定式化する。
• 生成対抗ネットワーク (GANs) に CSW を統合し、生成器および識別器ネットワークの学習に損失関数として用いる。
• CSW を目的関数として使用する際、訓練の安定化を図るために識別器にスペクトル正規化と残差ブロックを適用する。

実験結果

リサーチクエスチョン

• RQ1 畝込み演算子は、スライス Wasserstein におけるベクトル化された投影に置き換え可能であり、画像の空間的構造をよりよく保持できるか？
• RQ2 密度行列を用いた従来の SW と比較して、提案された畝込みスライシングフレームワークは、メモリ使用量を削減できるか？
• RQ3 CSW は、サンプル複雑性、計算複雑性、度合いの性質において、標準的な SW と比較してどう異なるか？
• RQ4 CSW は、画像データセットにおける深層生成モデリングの訓練安定性と収束速度を向上させるか？
• RQ5 CIFAR10、STL10、CelebA-HQ における FID スコアおよびインセプションスコアの観点から、CSW を用いた GAN の実証的性能はいかがなものか？

主な発見

• CSW は、訓練エポックにわたる FID スコアの低下が顕著で、従来の SW よりも収束が速いことが示された。
• CIFAR10 では、NCSW-d 変種（ドレージョン付き）が、1000 エポックで最終的な FID スコア 42.30、インセプションスコア 6.31 を達成した。
• 評価された全データセット（CIFAR10、STL10、CelebA-HQ）において、提案された CSW 変種は、FID スコアおよびインセプションスコアの両面で、標準的な SW を一貫して上回った。
• 畝込みスライシングの使用により、全投影ベクトルの保存を回避することで、メモリオーバーヘッドが削減され、高解像度画像へのスケーラブルな応用が可能になった。
• 実証的結果から、CSW は、標準的な SW で見られる「崩壊した」スライス（つまり、ゼロでデルタ関数となる投影）の問題を軽減しており、より情報量が多く多様な投影方向を学習可能であることがわかった。
• 理論的および実証的分析により、CSW は度合いの性質を維持し、次元の呪いを回避するためのサンプル複雑性 𝒪(n⁻¹/²) を達成することが確認された。