[논문 리뷰] Neural GPUs Learn Algorithms

ukasz Kaiser, Ilya Sutskever|arXiv (Cornell University)|2016. 01. 01.

Neural Networks and Applications인용 수 63

한 줄 요약

논문은 복소화된 게이트형 순환 단위를 기반으로 한 고도로 병렬화되고 미분 가능한 순환 아키텍처인 Neural GPU를 소개한다. 이는 계산의 보편성을 달성하고 장거리 알고리즘 작업으로의 일반화를 가능하게 한다. 학습 중 20비트 이내의 시퀀스에서 이진 덧셈과 곱셈을 성공적으로 학습하고, 더 긴 입력으로의 완벽한 일반화를 달성한다. 이는 파라미터 공유 완화, 드롭아웃, 기울기 노이즈에 의해 가능해졌다.

ABSTRACT

Abstract: Learning an algorithm from examples is a fundamental problem that has been widely studied. Recently it has been addressed using neural networks, in particular by Neural Turing Machines (NTMs). These are fully differentiable computers that use backpropagation to learn their own programming. Despite their appeal NTMs have a weakness that is caused by their sequential nature: they are not parallel and are are hard to train due to their large depth when unfolded. We present a neural network architecture to address this problem: the Neural GPU. It is based on a type of convolutional gated recurrent unit and, like the NTM, is computationally universal. Unlike the NTM, the Neural GPU is highly parallel which makes it easier to train and efficient to run. An essential property of algorithms is their ability to handle inputs of arbitrary size. We show that the Neural GPU can be trained on short instances of an algorithmic task and successfully generalize to long instances. We verified it on a number of tasks including long addition and long multiplication of numbers represented in binary. We train the Neural GPU on numbers with upto 20 bits and observe no errors whatsoever while testing it, even on much longer numbers. To achieve these results we introduce a technique for training deep recurrent networks: parameter sharing relaxation. We also found a small amount of dropout and gradient noise to have a large positive effect on learning and generalization.

연구 동기 및 목표

• 신경 터링 머신(NTM)의 순차적 병목 현상과 낮은 훈련 가능성 문제를 해결하기 위해 더 병렬적이고 확장 가능한 아키텍처를 설계하기 위해.
• 신경망이 임의의 길이의 입력에서 알고리즘 작업을 학습하고 일반화할 수 있도록 하기 위해, 특히 장거리 이진 산술을 포함하여.
• 깊은 순환 네트워크의 훈련을 안정화하고 훈련 시퀀스 길이를 초월한 일반화를 향상시키기 위한 훈련 기법을 개발하기 위해.
• 종료-에서-종료까지 알고리즘 학습에 적합한, 미분 가능한 병렬 아키텍처에서 계산의 보편성을 입증하기 위해.

제안 방법

• Neural GPU는 공간적 위치 간에 공유된 가중치를 사용하는 복소화된 게이트형 순환 단위(Gated Recurrent Unit)를 사용하여 병렬 계산을 가능하게 하고 파라미터 수를 감소시킨다.
• 파라미터 공유 완화 기법을 사용하여 역전파 중에 가중치 공유를 분리함으로써 깊은 순환 네트워크의 훈련을 안정화시킨다.
• 기울기 노이즈와 드롭아웃을 적용하여 일반화와 훈련 안정성을 향상시키기 위해 시간에 따른 역전파(backpropagation through time)로 모델을 훈련시킨다.
• 네트워크는 이진 숫자 시퀀스를 처리하고, 게이트 메커니즘을 통해 관련 위치에 주목함으로써 덧셈과 곱셈과 같은 연산을 학습한다.
• 짧은 시퀀스(최대 20비트)에서 훈련하고, 훨씬 더 긴 시퀀스에서 평가하여 일반화 능력을 테스트한다.

실험 결과

연구 질문

• RQ1 미분 가능한 순환 신경망 아키텍처가 훈련 중에 관찰된 길이를 초월해 알고리즘 작업을 학습하고 일반화할 수 있는가?
• RQ2 표준 역전파가 기울기 소실 또는 기울기 폭발로 인해 실패할 때 깊은 순환 네트워크를 효과적으로 훈련시키는 방법은 무엇인가?
• RQ3 병렬 아키텍처가 복잡한 알고리즘을 학습할 수 있는 능력을 유지하면서 계산의 보편성을 달성할 수 있는가?
• RQ4 깊은 순환 네트워크에서 알고리즘 학습을 위한 일반화와 안정성을 향상시키는 데 가장 효과적인 훈련 기법은 무엇인가?

주요 결과

• Neural GPU는 이진 덧셈과 곱셈 작업에서 훈련 시퀀스(20비트)보다 훨씬 긴 시퀀스에서도 오류 없이 완벽한 일반화를 달성했다.
• 모델은 임의의 길이의 입력으로의 강력한 일반화 능력을 보였으며, 이는 훈련 예제를 암기한 것이 아니라 기저의 알고리즘적 구조를 학습했음을 시사한다.
• 파라미터 공유 완화 기법은 깊은 순환 아키텍처에서 훈련 안정성과 성능을 크게 향상시켰다.
• 소량의 드롭아웃과 기울기 노이즈를 추가함으로써 학습과 일반화가 크게 향상되었으며, 이는 정규화가 알고리즘 학습에 있어 핵심적임을 시사한다.