[논문 리뷰] Predictive Sampling with Forecasting Autoregressive Models

Auke Wiggers, Emiel Hoogeboom|arXiv (Cornell University)|2020. 02. 23.

Music and Audio Processing참고 문헌 31인용 수 7

한 줄 요약

이 논문은 예측 샘플링을 소개한다. 예측 샘플링은 고정점 반복 또는 학습된 모듈을 사용하여 미래 토큰의 가능성을 사전 예측함으로써 자동회귀 모델(ARMs)에서 조상 샘플링을 가속화하는 새로운 알고리즘으로, 원본 모델의 우도를 유지한다. CIFAR10에서 최대 74%의 전방 계산 횟수를 줄여, 분포의 정밀도를 훼손하지 않은 채 상당히 빠른 샘플링을 달성한다.

ABSTRACT

Autoregressive models (ARMs) currently hold state-of-the-art performance in likelihood-based modeling of image and audio data. Generally, neural network based ARMs are designed to allow fast inference, but sampling from these models is impractically slow. In this paper, we introduce the predictive sampling algorithm: a procedure that exploits the fast inference property of ARMs in order to speed up sampling, while keeping the model intact. We propose two variations of predictive sampling, namely sampling with ARM fixed-point iteration and learned forecasting modules. Their effectiveness is demonstrated in two settings: i) explicit likelihood modeling on binary MNIST, SVHN and CIFAR10, and ii) discrete latent modeling in an autoencoder trained on SVHN, CIFAR10 and Imagenet32. Empirically, we show considerable improvements over baselines in number of ARM inference calls and sampling speed.

연구 동기 및 목표

• 자기회귀 모델(ARMs)의 샘플링 속도가 느린 문제를 해결하기 위해, 평가에는 빠르지만 샘플링에는 순차적 의존성으로 인해 느린 최신 신경 자동회귀 모델의 문제를 해결한다.
• 기존 모델의 우도와 자동회귀 구조를 유지하면서 요구되는 전방 계산 횟수를 극적으로 줄이는 샘플링 방법을 개발한다.
• 명시적 우도 모델링과 이산 잠재변수 모델(예: 자동회귀 사전분포를 가진 VAE 등) 모두에서 효율적인 조상 샘플링을 가능하게 한다.
• 재학습 없이도 병렬 추론을 활용할 수 있도록 하는 두 가지 예측 기반 메커니즘—ARM 고정점 반복과 학습된 예측 모듈—을 탐색한다.

제안 방법

• 입력 컨텍스트와 독립적인 노이즈의 결정적 함수로 ARM 샘플링 과정을 재구성함으로써, 향후 값의 예측이 가능하도록 한다.
• ARM 고정점 반복을 사용하여 예측된 시퀀스에 모델를 다시 적용함으로써 예측을 점진적으로 정교화하고, 일관된 예측으로 수렴시킨다.
• 기존 ARM의 최전단층 표현을 사용하여 미래 토큰을 예측하는 별도의 예측 모듈을 학습시켜 더 빠르고 학습된 예측을 가능하게 한다.
• 예측 결과를 샘플링 루프에 통합한다: 만약 예측 결과가 모델 출력과 일치하면 이후 전방 계산을 생략하여 총 추론 호출 수를 줄인다.
• 신경 자동회귀 모델의 병렬 추론 능력을 활용하기 위해 관측된 토큰과 예측된 토큰을 모두 조건으로 삼아, 엄격한 자동회귀 의존성을 유지한다.
• 주 모델과 예측 헤드 간에 ARM의 표현을 공유함으로써 효율성과 일관성을 향상시킨다.

실험 결과

연구 질문

• RQ1 기존 모델을 수정하거나 우도 성능을 떨어뜨리지 않고도 자동회귀 모델에서 조상 샘플링을 위한 전방 계산 횟수를 줄일 수 있는가?
• RQ2 추가 학습 없이 ARM 자체의 파rameter만을 사용하여 고정점 반복을 통해 미래 토큰을 얼마나 효과적으로 예측할 수 있는가?
• RQ3 기본 자동회귀 샘플링 대비 학습된 예측 모듈이 샘플링 속도 향상에 얼마나 기여하는가?
• RQ4 예측 샘플링이 자동회귀 사전분포를 가진 VAE와 같은 잠재변수 모델에서 진정한 모델 분포를 유지하는가?
• RQ5 재구성 및 표현 공유가 예측 샘플링의 예측 정확도와 효율성에 어떤 영향을 미치는가?

주요 결과

• ARM 고정점 반복은 CIFAR10에서 기준 대비 필요 전방 계산 횟수를 25.9% ± 1.1%로 줄여 샘플링 시간을 6.5배 가속화했다.
• 학습된 예측 모듈은 전방 계산 횟수를 기준 대비 50.9% ± 1.8%로 줄여 표준 자동회귀 샘플링 대비 샘플링 시간을 거의 절반으로 줄였다.
• 제거 실험에서 재구성만으로도 전방 계산 횟수를 97.2%에서 25.9%로 줄여, 재구성의 핵심적 역할을 입증했다.
• 예측 모듈에서 표현 공유를 통해 전방 계산 횟수를 67.1%에서 50.9%로 줄여, 공유된 표현이 예측 일관성을 향상시킨다는 것을 입증했다.
• CIFAR10과 ImageNet32에서 훈련된 VAE의 잠재공간 샘플링에서, 예측 샘플링은 샘플링 시간을 크게 줄였고, 동시에 샘플 품질을 유지했다.
• 수렴 분석 결과, 이미지의 왼쪽 쪽 픽셀이 오른쪽 쪽 픽셀보다 먼저 수렴하는 경향을 보였으며, 이는 자동회귀 의존성 구조와 일치했다.