[논문 리뷰] Anytime Sampling for Autoregressive Models via Ordered Autoencoding

Yilun Xu, Yang Song외 5명|arXiv (Cornell University)|2021. 02. 23.

Generative Adversarial Networks and Image Synthesis참고 문헌 29인용 수 6

한 줄 요약

이 논문은 재구성 중요도에 따라 잠재 표현을 구조화하는 순서화된 오토에코더를 사용하여 자동회귀 모델에 대한 anytime 샘플링을 제안한다. 이러한 순서화된 이산 코드에 대해 트랜스포머를 훈련시음으로써, 계산량을 줄였을 때 샘플 품질이 유연하게 떨어지는 것을 가능하게 하며, 재훈련 없이도 실시간으로 계산 자원 제약에 적응할 수 있다. 이로써 계산량을 60–80%로 줄였을 때도 거의 최신 기술 수준의 FID 점수(예: 1.5 이하의 FID 점수 하락)를 달성한다.

ABSTRACT

Autoregressive models are widely used for tasks such as image and audio generation. The sampling process of these models, however, does not allow interruptions and cannot adapt to real-time computational resources. This challenge impedes the deployment of powerful autoregressive models, which involve a slow sampling process that is sequential in nature and typically scales linearly with respect to the data dimension. To address this difficulty, we propose a new family of autoregressive models that enables anytime sampling. Inspired by Principal Component Analysis, we learn a structured representation space where dimensions are ordered based on their importance with respect to reconstruction. Using an autoregressive model in this latent space, we trade off sample quality for computational efficiency by truncating the generation process before decoding into the original data space. Experimentally, we demonstrate in several image and audio generation tasks that sample quality degrades gracefully as we reduce the computational budget for sampling. The approach suffers almost no loss in sample quality (measured by FID) using only 60\% to 80\% of all latent dimensions for image data. Code is available at https://github.com/Newbeeer/Anytime-Auto-Regressive-Model .

연구 동기 및 목표

• 동적 계산 제약 조건 하에서 적응형 자동회귀 생성을 가능하게 하여, 생성 과정을 언제든지 중단할 수 있도록 한다.
• 기존 자동회귀 모델이 전체 순차적 계산이 필요로 하며 기기 성능에 맞게 조정할 수 없는 한계를 해결한다.
• 런타임 자원에 따라 샘플 품질과 추론 속도 사이의 실시간 트레이드오프를 지원하는 단일 모델을 개발한다.
• PCA에서의 순서화된 표현 개념을, VQ-VAE와 같은 이산 잠재 공간으로 확장하여 자동회귀 모델링에 활용한다.
• 순서화된 잠재 공간에서 생성 과정을 잘라내면 샘플 품질이 최소 손실로 부드럽게 떨어지는지 실험적으로 입증한다.

제안 방법

• 재구성 중요도에 따라 차원을 정렬한 순서화된 VQ-VAE를 훈련시켜, 재구성 중요도 기반으로 정렬된 구조화된 잠재 공간을 학습한다. 이때 유연한 순서 정렬 목적함수를 사용한다.
• 표준 자동회귀 모델(예: 트랜스포머)을 사용하여 순서화된 잠재 공간에서 시퀀스를 생성하며, 높은 순위를 가진 차원부터 먼저 생성한다.
• 잠재 시퀀스의 어느 지점에서든 자르는 방식으로 anytime 샘플링을 가능하게 하여, 부분적으로 생성된 코드를 디코딩해 샘플로 변환한다.
• 고차원 잠재 표현의 경우 훈련 효율을 향상시키기 위해 몬테카를로 추정을 활용한다.
• 디코딩이 빠르므로, 추론 시간은 사용된 잠재 차원 수에 비례하여 선형적으로 증가한다.
• 샘플 품질을 손상시키지 않고도 캐싱이나 디스틸레이션과 같은 기존 가속 기법과 통합할 수 있다.

실험 결과

연구 질문

• RQ1 생성 과정의 어느 단계에서든 중단이 가능하도록 설계된 자동회귀 모델을 통해 anytime 샘플링을 구현할 수 있는가?
• RQ2 재구성 중요도에 따라 순서가 정렬된 잠재 공간에서 훈련하면, 계산량을 줄였을 때 샘플 품질이 부드럽게 떨어지는가?
• RQ3 생성 과정에서 사용하는 잠재 차원의 수를 얼마나 줄여도 높은 샘플 품질을 유지할 수 있는가?
• RQ4 제안된 방법은 이미지 및 오디오 생성 작업 모두에 동일한 성능을 보이며 적용 가능한가?
• RQ5 다양한 계산 자원 예산에서 잘라낸 샘플의 품질은 전체 생성 기반 모델과 비교해 어떻게 되는가?

주요 결과

• CIFAR-10과 CelebA 데이터셋에서, 모델은 잠재 차원의 60%에서 80%만 사용해도 거의 이상적인 샘플 품질을 달성하며, FID 점수 하락이 최소한(예: 1.5 이하)이다.
• 자르기로 인한 품질 저하가 부드럽게 이루어져, 다양한 계산 자원 예산에서 속도와 정밀도 사이의 매끄러운 트레이드오프를 보여준다.
• VCTK 오디오 데이터셋에서, 모델은 먼저 저주파 성분을 생성하고, 더 많은 잠재 차원을 포함할수록 고주파 세부 정보를 정밀하게 보완한다.
• 재훈련 없이도 기기별 계산 자원 제약에 실시간으로 적응 가능하여, 이질적인 하드웨어 환경에서의 배포를 지원한다.
• 기존의 캐싱 및 지식 디스틸레이션과 같은 가속 기법과 호환되며, 샘플 품질에 손상 없이 적용할 수 있다.
• 순서화된 오토에코더 훈련은 고차원 표현에서도 안정적이고 확장 가능하며, 복잡한 정규화나 기하 분포를 요구하는 이전 방법들을 능가한다.