[논문 리뷰] Parallel and Flexible Sampling from Autoregressive Models via Langevin Dynamics

Vivek Jayaram, John Thickstun|arXiv (Cornell University)|2021. 05. 17.

Speech and Audio Processing인용 수 8

한 줄 요약

이 논문은 전체 로그우도를 매끄럽게 처리한 Langevin 동역학을 사용하여 자동기반 모델의 병렬적이고 유연한(PnF) 샘플링을 제안한다. 이는 병렬, 조건부, 제약 기반 생성을 가능하게 하며, 시퀀스 길이에 관계없이 샘플링 속도가 일정하고 장치 간 확장 가능한 성능을 보인다. 음성 및 이미지 복원 작업(예: 소스 분離, 초해상도, 인painting)에서 경쟁적인 성능을 달성한다.

ABSTRACT

This paper introduces an alternative approach to sampling from autoregressive models. Autoregressive models are typically sampled sequentially, according to the transition dynamics defined by the model. Instead, we propose a sampling procedure that initializes a sequence with white noise and follows a Markov chain defined by Langevin dynamics on the global log-likelihood of the sequence. This approach parallelizes the sampling process and generalizes to conditional sampling. Using an autoregressive model as a Bayesian prior, we can steer the output of a generative model using a conditional likelihood or constraints. We apply these techniques to autoregressive models in the visual and audio domains, with competitive results for audio source separation, super-resolution, and inpainting.

연구 동기 및 목표

• 자기기반 모델의 조상 샘플링의 느린 순차적 성질이 고해상도 음성 및 이미지 생성에서 실용적 사용을 제한하는 문제를 해결하기 위해.
• 재학습 없이도 인painting, 초해상도, 소스 분리와 같은 다양한 조건부 샘플링을 가능하게 하되, 자동기반 인과 구조를 뒤집지 않고서도 가능하게 하기 위해.
• 병렬 처리가 가능하고 계산 자원에 따라 효율적으로 확장되어 실제 경과 시간을 줄일 수 있는 샘플링 방법을 개발하기 위해.
• 조건부 우도 또는 제약 조건을 통합하여 자동기반 모델을 베이지안 역문제의 사전확률로 일반화하기 위해.
• PnF 샘플링이 경쟁적인 생성 품질을 달성하면서도 새로운 조건부 샘플링 기능을 제공할 수 있음을 입증하기 위해.

제안 방법

• 전체 시퀀스를 무작위 노이즈로 초기화하고, 이 시퀀스의 전역 로그우도에 대해 Langevin 동역학을 적용하여 진화시키는 PnF 샘플러를 제안한다.
• 이산 자동기반 모델의 로그우도가 연속 최적화에 적합하도록, 가우시안 컨볼루션을 사용한 스무딩 기법을 적용한다.
• 매끄러움 온도를 점진적으로 감소시키는 애너일링 스케줄을 적용하여 마르코프 체인을 목표 분포로 유도한다.
• 스토캐스틱 그래디언트 랑주르 동역학(SGLD)을 적용하여 다수의 장치에서 쉽게 병렬화되고 분산된 샘플링을 가능하게 한다.
• 자기기반 모델(예: WaveNet, PixelCNN++)을 사전확률로 사용하고, 사후 샘플링 과정에 조건부 우도 또는 제약 조건을 통합한다.
• 관측 모델을 적절히 정의하여 선형 역문제(예: 소스 분리, 초해상도, 인painting)에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 매끄러운 전역 로그우도에 대한 Langevin 동역학이 순차적 의존성이 없는 자동기반 모델에서 병렬 샘플링을 가능하게 할 수 있는가?
• RQ2 PnF 샘플링이 재학습 없이도 인painting 및 초해상도와 같은 조건부 생성 작업에 일반화될 수 있는가?
• RQ3 PnF 샘플링이 조상 샘플링과 비교해 경쟁적인 생성 품질을 달성하면서도 실제 경과 시간을 줄일 수 있는가?
• RQ4 계산 장치의 수에 비례해 효율적으로 확장되어 거의 선형적인 속도 향상을 달성할 수 있는가?
• RQ5 PnF 샘플링은 소스 분리 및 초해상도와 같은 실제 음성 및 이미지 복원 작업에서 얼마나 잘 성능을 내는가?

주요 결과

• 피아노 데이터에 대한 4배 음성 초해상도에서 PnF 샘플링은 PSNR 29.78을 기록하여 KEE 기준선(22.25)과 스퍼인 인터폴레이션(23.07)을 모두 초월했다.
• 16배 초해상도에서 PnF는 피아노 데이터에서 PSNR 14.23을 기록하여 KEE 기준선(6.76)을 크게 앞서며 이전 방법을 뛰어넘는 가능성을 입증했다.
• CIFAR-10에서 이미지 소스 분리 작업에서, PixelCNN++를 사용한 PnF는 클래스 분할 설정에서 FID 40.66을 기록했으며, 최신 기술인 BASIS(Glow) 방법(FID 40.21)과 유사한 성능을 보였다.
• 클래스 무관 설정에서는 PnF가 PixelCNN++를 사용해 FID 37.89를 기록했으며, BASIS(NCSN) 기준선(FID 29.92)에 근접한 성능을 보여, 더 단순한 사전확률을 사용함에도 강력한 성능을 입증했다.
• PnF 샘플링은 고품질의 음성 인페인팅 및 32배 초해상도를 가능하게 했으며, 정성적 결과는 기존 기준선을 뛰어넘는 강력한 청각적 품질을 보였다.
• 스토캐스틱 PnF 샘플링은 장치 수에 비례하여 계산 시간이 반비례하는 조상 샘플링 수준의 품질을 달성했으며, 확장 가능한 병렬 샘플링을 가능하게 했다.