[論文レビュー] Adversarial score matching and improved sampling for image generation

Alexia Jolicoeur‐Martineau, Remi Piché-Taillefer+2 more|arXiv (Cornell University)|Sep 11, 2020

Generative Adversarial Networks and Image Synthesis参考文献 50被引用数 30

ひとこと要約

論文は Consistent Annealed Sampling（CAS）とハイブリッド対立的目的を用いてデノイニングスコアマッチングを改善し、サンプラーの安定性と CIFAR-10 および LSUN-churches で競争力のFIDスコアを達成しつつ、サンプル多様性を維持する。

ABSTRACT

Denoising Score Matching with Annealed Langevin Sampling (DSM-ALS) has recently found success in generative modeling. The approach works by first training a neural network to estimate the score of a distribution, and then using Langevin dynamics to sample from the data distribution assumed by the score network. Despite the convincing visual quality of samples, this method appears to perform worse than Generative Adversarial Networks (GANs) under the Fréchet Inception Distance, a standard metric for generative models. We show that this apparent gap vanishes when denoising the final Langevin samples using the score network. In addition, we propose two improvements to DSM-ALS: 1) Consistent Annealed Sampling as a more stable alternative to Annealed Langevin Sampling, and 2) a hybrid training formulation, composed of both Denoising Score Matching and adversarial objectives. By combining these two techniques and exploring different network architectures, we elevate score matching methods and obtain results competitive with state-of-the-art image generation on CIFAR-10.

研究の動機と目的

• スコアベース生成モデルにおけるより高品質で安定したサンプリングのために DSM-ALS の改善を動機づける。
• サンプリング中の安定かつ幾何学的に一貫したノイズスケーリングを保証する Consistent Annealed Sampling (CAS) を導入する。
• サンプルのリアリズムを向上させるため、デノイジングスコアマッチングと敵対的目的を組み合わせたハイブリッド学習目的を提案する。
• 最終 Langevin サンプルをデノイズする（EDS）ことでデータ多様体への整合性が向上しFIDが低下することを示す。
• アブレーション実験を通じて、これらの手法が標準ベンチマークで競争力の最先端結果をもたらすことを示す。

提案手法

• Denoising Score Matching (DSM) と Annealed Langevin Sampling (ALS) をレビューし、構築する。
• サンプリング中に所定のノイズスケジュールを保証する Consistent Annealed Sampling (CAS) を提案する。
• 最終 Langevin 出力をデノイズする Expected Denoised Sample (EDS) を定式化し、これを更新規則に組み込む。
• EDS 出力上の識別器（LSGAN）を用いたデノイジングスコアマッチングと敵対的リアリズムを同時最適化するハイブリッド目的を導入する。
• Song and Ermon (2019) と Ho et al. (2020) のスコアネットワークを CIFAR-10 および LSUN-Churches で評価し、改善を検証する。
• CAS、デノイジング、敵対的訓練の影響を定量化するアブレーションを提供する。

実験結果

リサーチクエスチョン

• RQ1 CAS がサンプリング中のノイズ軌跡を幾何学的スケジュールに整合させ、安定性とサンプル品質を改善するか？
• RQ2 最終 Langevin サンプルのデノイズ化（EDS）が一貫して FID とデータ多様体への近さを改善するか？
• RQ3 デノイジングスコアマッチングと敵対的訓練を組み合わせたハイブリッド目的が、非敵対的 DSM と比較してより高品質で多様なサンプルを生み出すか？
• RQ4 アーキテクチャの選択は CAS の有効性と敵対的スコアマッチングアプローチにどのような影響を及ぼすか？
• RQ5 挑戦的なモードカバータスク（3-Stacked MNIST）において、敵対的および非敵対的スコアネットワークは多様性を同等に達成できるか？

主な発見

• CAS はサンプリングの各ステップでノイズ分散が意図した幾何学的スケジュールに従うことを保証し、安定性を向上させる。
• 最終 Langevin サンプルをデノイズする（EDS）ことで FID が低下し、サンプルがデータ多様体により良く整合する。
• スコアマッチングと敵対訓練を組み合わせたハイブリッド目的は、特定のアーキテクチャとデータセットでサンプルのリアリズムを向上させる。
• CIFAR-10 および LSUN-Churches の全体で、CAS とデノイズを組み合わせたアプローチは非 CAS および非デノイズのベースラインより FID が低く、敵対的変種は一部のアーキテクチャで品質向上を示す。
• 方法はサンプルの多様性を維持し、3-Stacked MNIST において非敵対的・敵対的スコアネットワークの双方でモード完全性を達成する。
• アーキテクチャの違い（Song–Ermon 対 Ho et al.）は敵対的訓練の効果の大きさに影響を与え、いくつかのアーキテクチャでは敵対的損失からの利得を示さない。