[논문 리뷰] Adversarial score matching and improved sampling for image generation

Alexia Jolicoeur‐Martineau, Remi Piché-Taillefer외 2명|arXiv (Cornell University)|2020. 09. 11.

Generative Adversarial Networks and Image Synthesis참고 문헌 50인용 수 30

한 줄 요약

이 논문은 Consistent Annealed Sampling과 하이브리드 적대적 목표로 denoising score matching을 개선하여 샘플러 안정성과 CIFAR-10 및 LSUN-churches에서 경쟁력 있는 FID 점수를 달성하면서 샘플 다양성을 유지한다.

ABSTRACT

Denoising Score Matching with Annealed Langevin Sampling (DSM-ALS) has recently found success in generative modeling. The approach works by first training a neural network to estimate the score of a distribution, and then using Langevin dynamics to sample from the data distribution assumed by the score network. Despite the convincing visual quality of samples, this method appears to perform worse than Generative Adversarial Networks (GANs) under the Fréchet Inception Distance, a standard metric for generative models. We show that this apparent gap vanishes when denoising the final Langevin samples using the score network. In addition, we propose two improvements to DSM-ALS: 1) Consistent Annealed Sampling as a more stable alternative to Annealed Langevin Sampling, and 2) a hybrid training formulation, composed of both Denoising Score Matching and adversarial objectives. By combining these two techniques and exploring different network architectures, we elevate score matching methods and obtain results competitive with state-of-the-art image generation on CIFAR-10.

연구 동기 및 목표

• DSM-ALS의 향상을 통해 점수 기반 생성 모델링에서 더 높은 품질과 더 안정적인 샘플링을 달성하도록 동기 부여.
• 샘플링 중 안정적이고 기하학적으로 일관된 노이즈 스케일링을 보장하기 위해 Consistent Annealed Sampling (CAS)을 도입.
• 디노이징 스코어 매칭과 적대적 목표를 결합한 하이브리드 학습 목표를 제안하여 샘플의 현실감을 향상.
• EDS(노이즈 제거 최종 Langevin 샘플)가 데이터 매니폴드와의 정렬을 개선하고 FID를 감소시키는지 보여준다.
• ablation을 통해 이러한 방법들이 표준 벤치에서 경쟁력 있는 최신 결과를 낳는지 입증한다.

제안 방법

• Denoising Score Matching (DSM)과 Annealed Langevin Sampling (ALS)을 검토하고 확장.
• 샘플링 중 지정된 노이즈 스케줄을 보장하는 Consistent Annealed Sampling (CAS)을 제안.
• Expected Denoised Sample (EDS)를 정의하여 최종 Langevin 출력의 노이즈 제거를 수행하고 이를 업데이트 규칙에 통합.
• EDS 출력에서 디스크리미너(LSGAN)를 사용해 점수 매칭과 적대적 현실감을 공동으로 최적화하는 하이브리드 목표를 도입.
• CIFAR-10 및 LSUN-Churches에서 Song and Ermon (2019) 및 Ho et al. (2020) 점수 네트워크를 실험하여 개선을 평가.
• CAS, denoising, 및 adversarial training의 영향을 정량화하기 위한 ablations를 제공.

실험 결과

연구 질문

• RQ1 Consistent Annealed Sampling (CAS)이 샘플링 중 기하학적 스케줄에 맞는 노이즈 궤적을 생성하여 안정성과 샘플 품질을 향상시키는가?
• RQ2 최종 Langevin 샘플의 노이즈 제거(EDS)가 일관되게 FID와 데이터 매니폴드에의 근접성을 개선하는가?
• RQ3 denoising score matching과 adversarial training을 결합한 하이브리드 목표가 비적대적 DSM에 비해 더 높은 품질과 다양성을 제공하는가?
• RQ4 표준 데이터셋에서 CAS와 적대적 스코어 매칭 접근의 효과에 아키텍처 선택이 어떤 영향을 미치는가?
• RQ5 적대적 및 비적대적 스코어 네트워크가 3-Stacked MNIST 같은 도전적인 모드 커버링 작업에서 비슷한 다양성을 달성하는가?

주요 결과

• CAS는 샘플링의 모든 단계에서 노이즈 분산이 의도된 기하학적 스케줄을 따르도록 보장하여 안정성을 향상시킨다.
• 최종 Langevin 샘플의 노이즈 제거(EDS)는 FID를 감소시키고 샘플이 데이터 매니폴드와 더 잘 정렬되도록 한다.
• 스코어 매칭과 적대적 학습을 결합한 하이브드 목표가 특정 아키텍처와 데이터셋에서 샘플의 현실감을 향상시킨다.
• CIFAR-10 및 LSUN-Churches 전반에 걸쳐 CAS 및 denoising이 비-CAS 및 비-denoised 기준선에 비해 낮은 FID를 달성했으며, 적대적 변형은 일부 아키텍처에서 품질을 향상시켰다.
• 샘플 다양성은 유지되며, 비적대적 및 적대적 스코어 네트워크 모두에서 3-Stacked MNIST에서 전체 모드 커버리지를 달성한다.
• 아키텍처 차이(Song–Ermon vs Ho et al.)가 적대적 학습의 이점 크기에 영향을 주며 일부 아키텍처는 적대적 손실에서 이득을 보이지 않는다.