[논문 리뷰] Reinforcement Learning Neural Turing Machines - Revised

Wojciech Zaremba, Ilya Sutskever|arXiv (Cornell University)|2015. 05. 04.

Reinforcement Learning in Robotics참고 문헌 22인용 수 118

한 줄 요약

이 논문은 강화학습 신경 터미널 기계(Reinforcement Learning Neural Turing Machine, RL-NTM)를 제안하며, REINFORCE 알고리즘을 사용해 이산 외부 인터페이스—입력 테이프, 메모리 테이프, 출력 테이프—와 상호작용하는 신경 컨트롤러를 훈련시켜 튜링 완전 계산을 가능하게 한다. 모델은 시퀀스 복사, 뒤집기, 반복 복사와 같은 알고리즘 작업을 성공적으로 해결하지만, 성능은 컨트롤러 아키텍처에 매우 의존적이며, 이질적인 연속 및 이산 성분 간의 복잡한 상호작용으로 인해 새로운 수치적 기울기 검증 절차를 통해 철저한 기울기 검증이 필요하다.

ABSTRACT

The Neural Turing Machine (NTM) is more expressive than all previously considered models because of its external memory. It can be viewed as a broader effort to use abstract external Interfaces and to learn a parametric model that interacts with them. The capabilities of a model can be extended by providing it with proper Interfaces that interact with the world. These external Interfaces include memory, a database, a search engine, or a piece of software such as a theorem verifier. Some of these Interfaces are provided by the developers of the model. However, many important existing Interfaces, such as databases and search engines, are discrete. We examine feasibility of learning models to interact with discrete Interfaces. We investigate the following discrete Interfaces: a memory Tape, an input Tape, and an output Tape. We use a Reinforcement Learning algorithm to train a neural network that interacts with such Interfaces to solve simple algorithmic tasks. Our Interfaces are expressive enough to make our model Turing complete.

연구 동기 및 목표

• 신경망이 메모리 테이프 및 입력/출력 테이프와 같은 이산적이고 비미분 가능한 외부 인터페이스와 상호작용할 수 있는지의 가능성을 탐구하는 것.
• 백프로파게이션 외에도 강화학습을 통해 이산 인터페이스에 대한 제어 정책을 학습시킴으로써 신경 모델의 능력을 확장하는 것.
• 다양분기 메모리 쓰기와 이산 동작 선택(즉, REINFORCE를 통한)을 조합한 모델이 튜링 완전성을 달성하고 복잡한 알고리즘 작업을 해결할 수 있음을 보여주는 것.
• 하이브리드로 연속 및 이산 성분을 포함한 모델에서 REINFORCE 기반 훈련에 대해 신뢰할 수 있는 기울기 검증 절차를 개발하고 검증하는 것.

제안 방법

• RL-NTM 아키텍처는 REINFORCE를 사용해 이산 동작을 결정하는 신경 컨트롤러로 구성되며, 이는 입력, 메모리, 출력 테이프 헤드의 이동과 예측 여부를 결정한다.
• 컨트롤러는 메모리 및 출력 테이프에 쓸 값을 학습하기 위해 백프로파게이션을 사용하지만, 테이프 헤드 이동 및 출력 결정과 같은 이산 동작에 대한 정책은 REINFORCE로 훈련된다.
• 모델은 고정 학습률(0.05)과 모멘텀(0.9)을 사용한 확률적 경사 하강법으로 훈련되며, RL 파ameter의 기울기 노름은 5로 클리핑하고, 베이스라인 네트워크의 기울기 노름은 2로 클리핑한다.
• 다양분기 및 이산 성분 간의 복잡한 상호작용으로 인해, 이질적인 성분 간의 기울기 검증이 매우 중요하기 때문에, 새로운 수치적 기울기 검증 절차를 개발하고 적용하였다.
• 메모리는 35차원 벡터로 초기화되며, 모든 은닉 상태와 메모리는 0으로 초기화된다.
• 컨트롤러는 정규분포 초기화(σ = 0.1)와 역온도 0.01을 사용해 정책 기울기 업데이트를 안정화시킨다.

실험 결과

연구 질문

• RQ1 강화학습이 메모리 및 입력/출력 테이프와 같은 이산 외부 인터페이스와 상호작용하는 신경 컨트롤러를 효과적으로 훈련하는 데 사용될 수 있는가?
• RQ2 다양분기 가중치 업데이트와 이산 정책 학습(REINFORCE를 통한)을 조합하면, 시퀀스 뒤집기 및 반복 복사와 같은 복잡한 알고리즘 작업을 해결할 수 있는가?
• RQ3 모델의 성능은 컨트롤러 아키텍처, 특히 직접 액세스 또는 LSTM 기반 컨트롤러와의 비교에서 얼마나 민감한가?
• RQ4 하이브리드로 연속 및 이산 성분을 포함한 REINFORCE 기반 모델에 대해 기울기 검증 절차를 신뢰성 있게 적용할 수 있는가?
• RQ5 커리큘럼 학습이 반복 복사 및 정방향-역방향 작업과 같은 작업의 훈련 성공률을 얼마나 향상시키는가?

주요 결과

• 직접 액세스 컨트롤러를 사용할 경우 RL-NTM는 반복 복사, 뒤집기, 정방향-역방향 작업을 성공적으로 해결하지만, LSTM 컨트롤러를 사용할 경우 완전히 실패한다.
• 무한 메모리와 출력 결정이 필요한 작업에서 성공을 거두며, 원칙적으로 튜링 완전성을 입증한다.
• 커리큘럼 학습이 없을 경우, 매우 짧은 시퀀스(예: 길이 5)를 초과한 작업은 실패하며, 훈련 스케줄에 강하게 의존함을 시사한다.
• 이 연구에서 개발한 기울기 검증 절차는 REINFORCE 업데이트의 디버깅과 검증에 필수적이었으며, 이는 이질적인 성분 간의 복잡한 상호작용으로 인해 이전에는 검증이 어려웠다.
• 장기 정수 덧셈 및 정렬 작업을 해결하지 못하며, 일반화 가능한 알고리즘 대신 특수한 히ュ리스틱을 학습하는 경향이 있다.
• 모델의 성공 여부는 컨트롤러 설계에 매우 민감하며, 직접 액세스 컨트롤러가 모든 테스트된 알고리즘 작업에서 LSTM 기반 컨트롤러보다 뛰어난 성능을 보였다.