[논문 리뷰] Learning Wake-Sleep Recurrent Attention Models

Jimmy Ba, Roger Grosse외 2명|arXiv (Cornell University)|2015. 09. 22.

Multimodal Machine Learning Applications참고 문헌 29인용 수 22

한 줄 요약

이 논문은 재가중된 웨이크-슬립 학습과 제어 변수를 사용하여 사전 분포 추정을 향상시키고 기울기 분산을 감소시켜 확률적 하드 어텐션 네트워크의 훈련을 향상시키는 훈련 방법인 웨이크-슬립 순환 어텐션 모델(WS-RAM)을 제안한다. 이 방법은 변분 추론과 유사한 성능을 달성하면서도 훨씬 더 빠른 훈련 속도를 보이며, 이미지 분류 및 캡션 생성 작업에서 최신 기술 수준의 효율성을 입증한다.

ABSTRACT

Despite their success, convolutional neural networks are computationally expensive because they must examine all image locations. Stochastic attention-based models have been shown to improve computational efficiency at test time, but they remain difficult to train because of intractable posterior inference and high variance in the stochastic gradient estimates. Borrowing techniques from the literature on training deep generative models, we present the Wake-Sleep Recurrent Attention Model, a method for training stochastic attention networks which improves posterior inference and which reduces the variability in the stochastic gradients. We show that our method can greatly speed up the training time for stochastic attention networks in the domains of image classification and caption generation.

연구 동기 및 목표

• 확률적 하드 어텐션 모델의 훈련 과제를 해결하기 위해, 후행 분포 추정이 비가역적이며 기울기 분산이 높은 문제를 다루기 위해.
• 이미지 분류 및 캡션 생성 작업에서 성능을 저하시키지 않고 어텐션 기반 모델의 훈련 효율성을 향상시키기 위해.
• 추론 네트워크, 재가중된 웨이크-슬립 학습, 제어 변수를 통한 분산 감소를 통합한 통합된 훈련 절차를 개발하기 위해.
• 기존의 변분 기반 방법에 비해 더 빠른 수렴과 더 나은 탐색 능력을 갖춘 어텐션 정책 학습을 가능하게 하기 위해.

제안 방법

• WS-RAM은 어텐션 정책을 모델링하기 위해 생성 네트워크를 사용하고, 구간 위치에 대한 후행 분포를 근사하기 위해 별도의 추론 네트워크를 사용하며, 훈련 중 레이블에 접근할 수 있다.
• 재가중된 웨이크-슬립 알고리즘을 적용하여 생성 네트워크와 추론 네트워크를 함께 훈련함으로써 반복적인 개선을 통해 후행 분포 근사치를 향상시킨다.
• 훈련 중 비가역적인 후행 기대값을 추정하기 위해 추론 네트워크에서 유도된 제안 분포를 사용한 중요도 표본 추출을 적용한다.
• 기울기 추정치의 분산을 줄이기 위해 제어 변수를 도입하여 수렴 속도를 가속화한다.
• 특히 변분 기반 방법에서 일찍 수렴하는 것을 방지하기 위해 탐색 히우리스틱을 통합하여 조기 수렴을 방지한다.
• 중요도 표본 추출과 제어 변수에서 유도된 기울기 추정치를 사용하여 스토하스틱 백프로파게이션을 통해 종합적으로 훈련한다.

실험 결과

연구 질문

• RQ1 재가중된 웨이크-슬립 접근법이 확률적 하드 어텐션 모델의 후행 분포 추정에 기여하는가?
• RQ2 제어 변수의 사용이 어텐션 모델 훈련 중 기울기 분산을 유의미하게 감소시키는가?
• RQ3 WS-RAM은 훨씬 더 빠른 훈련 시간을 보이며 변분 추론과 유사한 성능을 달성할 수 있는가?
• RQ4 레이블 접근 권한이 있는 추론 네트워크의 포함이 어텐션 정책 학습에 어떤 영향을 미치는가?
• RQ5 탐색 히우리스틱이 확률적 어텐션 모델의 훈련 안정성과 수렴에 얼마나 기여하는가?

주요 결과

• 1000만 번의 업데이트 후, 번역 및 스케일링된 MNIST에서 WS-RAM은 테스트 오차율 1.62%를 기록하여 변분 기반 방법(3.11%)과 제어 변수가 제거된 WS-RAM 아블레이션(1.85%)을 모두 앞서나갔다.
• WS-RAM은 변분 기반 방법에 비해 훈련 시간을 크게 단축시켰으며, MNIST 및 Flickr8k에서의 훈련 곡선을 통해 유사한 성능를 빠르게 달성함을 보였다.
• 제어 변수의 사용으로 기울기 분산이 기준 방법 대비 40-50% 감소했으며, 중요도 표본 추출에서 낮은 기울기 분산 추정치와 높은 유효 표본 크기(Ess)로 입증되었다.
• 추론 네트워크는 후행 분포 근사치를 향상시켰지만, 이는 항상 높은 ESS로 이어지지는 않았으며, 이는 분산 감소의 주요 원인이 제어 변수에 있음을 시사한다.
• WS-RAM는 변분 기반 방법과 달리 탐색 히우리스틱이 필요 없었으며, 탐색 히우리스틱이 없을 경우 기존 기반 방법은 단일 구간 크기로 수렴하는 경향이 있었다.
• Flickr8k 데이터셋에서 WS-RAM은 BLEU-1, BLEU-2, BLEU-3, BLEU-4 점수 각각 61.1, 40.4, 26.9, 17.8을 기록하여 변분 방법의 성능(62.3, 41.6, 26.9, 17.2)과 유사하지만 더 빠른 훈련 속도를 보였다.