[논문 리뷰] Fast Generation for Convolutional Autoregressive Models

Prajit Ramachandran, Tom Le Paine외 7명|arXiv (Cornell University)|2017. 04. 20.

Neural Networks and Reservoir Computing참고 문헌 8인용 수 24

한 줄 요약

이 논문은 Wavenet과 PixelCNN++과 같은 컨volution형 순차적 모델에서 추론을 가속화하기 위해 캐싱 기반의 방법을 제안한다. 이는 이전에 계산된 은닉 상태를 재사용하여 중복 계산을 줄임으로써 성능을 향상시킨다. 이 방법은 확장형 및 스트라이드 컨볼루션을 통해 계층 간에 효율적으로 업데이트되는 계층별 캐시를 유지함으로써, 순수한 생성 방식 대비 각각 최대 21배와 183배의 속도 향상을 달성한다.

ABSTRACT

Convolutional autoregressive models have recently demonstrated state-of-the-art performance on a number of generation tasks. While fast, parallel training methods have been crucial for their success, generation is typically implemented in a naïve fashion where redundant computations are unnecessarily repeated. This results in slow generation, making such models infeasible for production environments. In this work, we describe a method to speed up generation in convolutional autoregressive models. The key idea is to cache hidden states to avoid redundant computation. We apply our fast generation method to the Wavenet and PixelCNN++ models and achieve up to $21 imes$ and $183 imes$ speedups respectively.

연구 동기 및 목표

• 실시간 생산 시스템에 구현하기 어려운 컨볼루션형 순차적 모델의 느린 추론 속도 문제를 해결하기 위해.
• 계층 간에 이전에 계산된 은닉 상태를 재사용하여 순차적 생성 중 중복 계산을 줄이기 위해.
• 순차적 아키텍처의 확장형 및 스트라이드 컨볼루션 계층에 모두 적용 가능한 일반화 가능한 캐싱 메커니즘을 개발하기 위해.
• 모델 아키텍처나 성능를 변경하지 않고도 Wavenet 및 PixelCNN++과 같은 표준 모델에서 뚜렷한 속도 향상을 입증하기 위해.
• Wavenet과 PixelCNN++의 기존 훈련 코드베이스와 호환되는 오픈소스 구현체를 공개하기 위해.

제안 방법

• 각 타임스텝에서 전체 수신 영역을 다시 계산하지 않도록 이전 생성 단계의 은닉 상태를 캐싱하는 방식.
• 시간적 국소성( temporal locality )을 유지하기 위해 각 계층마다 큐 기반 캐시를 사용하며, 가장 오래된 은닉 상태는 제거되고 최신 상태는 추가된다.
• 확장 계수와 캐시 크기를 일치시켜 입력 정렬을 보장함으로써 확장형 컨볼루션에 캐싱 메커니즘을 적용한다.
• 다운샘플링/업샘플링 인자에 따라 캐시 업데이트 빈도를 조절할 수 있도록 'cache_every' 매개변수를 도입함으로써 스트라이드 컨볼루션에 방법을 확장한다.
• 수직 스트림을 행 단위로 처리하고 모든 수평 스트림 계산에 대해 캐시된 수직 특징을 재사용함으로써 PixelCNN++의 추론을 최적화한다.
• 기존 모델 아키텍처에 최소한의 변경만으로 텐서플로우 기반으로 구현하여 기존 훈련 코드베이스와의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 큰 수신 영역을 가진 순차적 모델에서 은닉 상태 캐싱이 계산 시간을 크게 줄일 수 있는가?
• RQ2 확장형 및 스트라이드 컨볼루션을 포함한 다양한 유형의 컨볼루션 계층에서 캐싱 메커니즘이 어떻게 스케일링되는가?
• RQ3 Wavenet 및 PixelCNN++과 같은 모델에서 캐싱이 생성 품질에 영향을 주지 않으면서 얼마나 많은 추론 속도 향상을 이룰 수 있는가?
• RQ4 특히 고처리량 생산 환경에서 배치 크기가 다양할 경우 이 방법의 성능는 어떻게 되는가?
• RQ5 기존 훈련 파ipelines와의 완전한 호환성과 최소한의 코드 변경으로 실용적으로 효율적으로 구현할 수 있는가?

주요 결과

• 제안된 캐싱 방법은 나이브 구현 대비 Wavenet에서 최대 21배의 추론 시간 단축을 달성한다.
• PixelCNN++에서는 최대 183배의 속도 향상을 보이며, 특히 배치 크기가 클수록 뚜렷하게 향상된다 (예: 128 및 256).
• 배치 크가 증가함에 따라 중복 계산이 감소하여 속도 향상이 증가하며, 고배치 크기에서 나이브 추론 대비 두 개의 지수 수준(100배 이상) 빠른 성능을 기록한다.
• 이 방법은 각 생성 단계에서 선형 시간 및 공간 복잡도를 유지하는 반면, 나이브 순차적 생성은 지수 복잡도를 가진다.
• 최소한의 아키텍처 수정으로도 1D(Wavenet) 및 2D(PixelCNN++) 아키텍처 모두에서 효과적인 캐싱 메커니즘이 작동한다.
• 오픈소스 구현체는 기존 훈련 코드베이스와 호환되어 생산 워크플로우에 원활하게 통합될 수 있다.