[논문 리뷰] Neural Programmer: Inducing Latent Programs with Gradient Descent

Arvind Neelakantan, Quoc V. Le외 1명|arXiv (Cornell University)|2015. 11. 16.

Advanced Neural Network Applications참고 문헌 46인용 수 73

한 줄 요약

Neural Programmer는 소프트 주의 메커니즘을 통해 데이터 세그먼트에 기본 산술 및 논리 연산 집합을 선택적으로 적용함으로써 복잡한 프로그램을 유도하는 미분 가능한 신경망 아키텍처를 소개한다. 최종 출력만으로 지도를 받는 엔드 투 엔드 학습을 통해 경사 하강법으로 학습되며, 표준 RNN 및 주의 모델이 실패하는 합성 테이블 이해 작업에서 거의 완벽한 정확도를 달성한다.

ABSTRACT

Deep neural networks have achieved impressive supervised classification performance in many tasks including image recognition, speech recognition, and sequence to sequence learning. However, this success has not been translated to applications like question answering that may involve complex arithmetic and logic reasoning. A major limitation of these models is in their inability to learn even simple arithmetic and logic operations. For example, it has been shown that neural networks fail to learn to add two binary numbers reliably. In this work, we propose Neural Programmer, an end-to-end differentiable neural network augmented with a small set of basic arithmetic and logic operations. Neural Programmer can call these augmented operations over several steps, thereby inducing compositional programs that are more complex than the built-in operations. The model learns from a weak supervision signal which is the result of execution of the correct program, hence it does not require expensive annotation of the correct program itself. The decisions of what operations to call, and what data segments to apply to are inferred by Neural Programmer. Such decisions, during training, are done in a differentiable fashion so that the entire network can be trained jointly by gradient descent. We find that training the model is difficult, but it can be greatly improved by adding random noise to the gradient. On a fairly complex synthetic table-comprehension dataset, traditional recurrent networks and attentional models perform poorly while Neural Programmer typically obtains nearly perfect accuracy.

연구 동기 및 목표

• 딥 신경망이 복합 프로그램 유도가 필요한 작업에서 산술 및 논리적 추론을 학습하는 데에 한계가 있다는 문제를 해결하기 위해.
• 의미 분석 및 프로그램 유도에서 비용이 많이 드는 인간 주석 프로그램이나 수작업으로 만든 문법에 의존도를 줄이기 위해.
• 단계별 프로그램 주석이 필요 없이 최종 출력만으로 지도를 받는 신경 모델의 엔드 투 엔드 학습을 가능하게 하기 위해.
• 신경 패턴 인식과 기호 연산을 결합한 일반 목적의 도메인에 관계없는 프로그램 유도 프레임워크를 개발하기 위해.

제안 방법

• 모델은 순환 제어기를 사용하며, 각 단계에서 입력 요소에 대한 미분 가능한 주의를 통해 데이터 세그먼트와 연산(예: 합계, 최대값, 비교)을 선택한다.
• 선택된 데이터 세그먼트에 연산이 적용되며, 결과는 메모리에 저장되어 향후 결정에 영향을 주며, 다단계에 걸친 복합적 추론을 가능하게 한다.
• 데이터 세그먼트 및 연산 선택이 소프트 주의 메커니즘을 통해 미분 가능하므로, 전체 시스템은 최종 출력만으로 지도를 받는 백프로파게이션을 통해 학습될 수 있다.
• 테스트 시점에는 소프트 주의가 하드 선택(예: argmax)으로 대체되어 결정적인 프로그램 실행을 보장한다.
• 학습 안정성을 높이기 위해 기울기 중에 무작위 노이즈를 주입함으로써 일반화 및 수렴 성능을 향상시킨다.
• 다중 단계 추론이 필요한 합성 테이블 이해 데이터셋(예: 텍사스와 접해 있는 주 수를 세는 것 등)에서 모델을 평가한다.

실험 결과

연구 질문

• RQ1 최종 출력만으로 지도를 받는 신경망이 단계별 프로그램 주석 없이 복잡하고 복합적인 프로그램을 유도할 수 있는가?
• RQ2 미분 가능한 연산 및 데이터 선택이 기호적 추론 작업을 위한 신경 모델의 엔드 투 엔드 학습을 가능하게 하는가?
• RQ3 표준 RNN 및 주의 기반 모델과 비교해 복잡한 산술 및 논리 연산을 포함한 추론 작업에서 모델의 성능은 어떠한가?
• RQ4 기울기 노이즈 주입이 약한 지도로 인한 프로그램 유도에서 학습 안정성과 일반화 성능을 향상시키는가?

주요 결과

• Neural Programmer는 복잡한 합성 테이블 이해 데이터셋에서 100% 정확도를 달성했으며, 표준 LSTM 및 LSTM-with-attention 모델은 같은 작업의 더 쉬운 변형에서 약 80% 정확도에 그쳤다.
• 외부 분포 입력 스케일(예: [-10,10] 대신 [-50,50])에서 테스트했을 때, LSTM 모델은 정확도가 30%로 떨어졌지만, Neural Programmer는 추론 시 스케일에 관계없는 하드 선택 덕분에 완벽한 성능을 유지했다.
• 기울기에 무작위 노이즈를 추가하면 학습 안정성과 일반화 성능이 크게 향상되었으며, 노이즈를 주입한 모델은 노이즈 없이 학습한 모델보다 일관되게 뛰어난 성능을 보였다.
• 모델는 강력한 복합 일반화 능력을 보였으며, 중간 단계의 명시적 지도 없이도 기본 연산을 조합하여 복잡한 추론 파이프라인을 구성하는 데 성공했다.