[논문 리뷰] Neural Arithmetic Logic Units

Andrew Trask, Felix Hill외 4명|arXiv (Cornell University)|2018. 08. 01.

Neural Networks and Applications인용 수 80

한 줄 요약

논문은 Neural Accumulator(NAC)와 Neural Arithmetic Logic Unit(NALU)을 소개하며, 체계적 수치 계산으로 신경망의 외삽 extrapolation을 개선하기 위해 differentiable 모듈을 제시하고, 합성, 이미지, 언어, 코드, 강화학습 태스크에서 이를 시연한다.

ABSTRACT

Neural networks can learn to represent and manipulate numerical information, but they seldom generalize well outside of the range of numerical values encountered during training. To encourage more systematic numerical extrapolation, we propose an architecture that represents numerical quantities as linear activations which are manipulated using primitive arithmetic operators, controlled by learned gates. We call this module a neural arithmetic logic unit (NALU), by analogy to the arithmetic logic unit in traditional processors. Experiments show that NALU-enhanced neural networks can learn to track time, perform arithmetic over images of numbers, translate numerical language into real-valued scalars, execute computer code, and count objects in images. In contrast to conventional architectures, we obtain substantially better generalization both inside and outside of the range of numerical values encountered during training, often extrapolating orders of magnitude beyond trained numerical ranges.

연구 동기 및 목표

• 학습 범위를 넘어선 신경망에서의 체계적 수치 외삽의 필요성을 제시한다.
• 아키텍처(NAC 및 NALU)를 제안하여 표현이 산술 연산으로 편향되도록 한다.
• 여러 도메인에서 외삽 일반화의 향상을 입증한다(합성, 시각, 언어, 프로그램 실행, RL).
• 숫자 추론 태스크에서 성능 향상을 보여주기 위해 마지막 선형 계층을 NAC/NALU로 대체하는 이점을 보여준다.

제안 방법

• NAC를 W = tanh(What) * sigma(Mhat)로 제약된 선형 계층으로 정의하여 입력이 재스케일링 없이 덧셈/뺄셈으로 매핑되도록 촉진한다.
• NAC를 Neural Arithmetic Logic Unit(NALU)으로 확장하여 학습된 게이트 g를 통해 덧셈/뺄셈 NAC과 곱셈/나눗셈 NAC를 결합하여 산술 함수(add, subtract, multiply, divide, power)를 가능하게 한다.
• 수치 조작이 필요한 태스크에 대해 엔드투엔드로 역전파를 사용해 학습하고 감독 신호와 강화 학습 신호를 모두 사용한다.
• NAC/NALU를 다양한 아키텍처(피드포워드, LSTM 기반, RL 에이전트) 안에서 적용하여 학습 범위를 넘어선 외삽과 일반화를 테스트한다.

실험 결과

연구 질문

• RQ1 NAC와 NALU가 신경망이 학습 범위를 넘어 수치적으로 외삽할 수 있도록 하는가?
• RQ2 NAC/NALU가 다양한 모달리티(합성, 시각, 언어, 코드, RL)에서 수리 능력을 향상시키는 수치성 편향을 제공하는가?
• RQ3 마지막 선형 계층을 NAC/NALU로 대체하면 개수 세기, 숫자 단어의 번역, 프로그램 평가와 같은 숫자 관련 태스크의 성능이 향상되는가?
• RQ4 곱셈적 능력(NALU)을 통한 비교가 덧셈적 능력(NAC)을 통한 태스크들보다 어떤 차이가 있는가?
• RQ5 정확한 수치 추론이 요구되는 태스크에 대해 역전파를 이용한 엔드투엔드 학습(NAC/NALU)이 가능하게 하는가?

주요 결과

• NAC는 강력한 덧셈/뺄셈 연산을 가능하게 하며 표준 선형/MLP 베이스라인에 비해 외삽이 향상된다.
• NALU는 제어된 게이트를 통해 곱셈/나눗셈 능력을 추가하여 곱셈 함수에 대한 외삽도 가능하게 한다.
• 태스크 전반에서(NAC/NALU는 합성 산술, MNIST 숫자 세기, 언어-숫자 번역, 프로그램 평가, 격자 세계 시간 추적) 외삽이 우수하게 나타나며(훈련 범위를 넘어서는 경우가 많다), 종종 여러 차례의 차원에서 벗어난 범위까지 확장된다.
• MNIST 짝수성(parity)에서 NAC/NALU는 이전의 선형 계층 기반 기준선보다 오차를 큰 폭으로 줄이며, NAC/NALU는 보간 성능도 강하게 제공한다.
• 마지막 선형 계층을 NAC/NALU로 대체하면 상당한 성능 향상을 얻을 수 있어 숫자 편향이 있는 아키텍처 컴포넌트의 이점을 보여준다.
• RL에서 NAC를 활용한 제어는 시간 추적 태스크의 외삽을 개선할 수 있어 감독 학습 외 영역에서도 숫자 편향 모듈의 유용성을 시사한다.