[논문 리뷰] A review on Neural Turing Machine.

Soroor Malekmohamadi Faradonbe, Faramarz Safi-Esfahani|arXiv (Cornell University)|2019. 04. 10.

Neural Networks and Applications참고 문헌 70인용 수 1

한 줄 요약

이 논문은 신경망과 외부 메모리를 결합하여 알고리즘 작업 학습이 가능한 미분 가능한 신경망 아키텍처인 신경 터닝 머신(NTM)에 대한 체계적인 리뷰를 제시한다. NTM의 구조, 변종, 구현된 작업 및 비교 사항을 탐구하여 지속적 메모리와 알고리즘 추론 능력을 갖춘 신경기호 AI 시스템의 개발에 기여한다.

ABSTRACT

One of the major objectives of Artificial Intelligence is to design learning algorithms that are executed on a general purposes computational machines such as human brain. Neural Turing Machine (NTM) is a step towards realizing such a computational machine. The attempt is made here to run a systematic review on Neural Turing Machine. First, the mind-map and taxonomy of machine learning, neural networks, and Turing machine are introduced. Next, NTM is inspected in terms of concepts, structure, variety of versions, implemented tasks, comparisons, etc. Finally, the paper discusses on issues and ends up with several future works.

연구 동기 및 목표

• 뇌를 모델로 삼는 일반 목적의 학습 기계로 나아가기 위한 단계로 신경 터링 머신(NTM)에 대한 종합적인 리뷰를 제공하기 위해.
• NTM와 관련된 기계 학습, 신경망 및 터링 기계의 분류 체계와 개념적 기초를 분석하기 위해.
• NTM의 아키텍처, 변종 및 다양한 구현된 작업에서의 성능를 검토하기 위해.
• 학습 효율성 및 알고리즘 일반화 측면에서 NTM을 다른 모델들과 비교하기 위해.
• 신경기호 계산 및 미분 가능한 메모리 시스템 분야에서의 열린 문제를 식별하고 향후 연구 방향을 제안하기 위해.

제안 방법

• NTM이 광범위한 AI 연구에 어떻게 위치하는지를 이해하기 위해 기계 학습, 신경망 및 터링 기계의 마인드맵과 분류 체계를 수립한다.
• NTM의 핵심 구성 요소인 미분 가능한 신경망 컨트롤러와 외부 미분 가능한 메모리 행렬을 분석한다.
• 구조적 개선 및 메모리 접근 메커니즘을 바탕으로 한 다양한 NTM 변종(예: 미분 가능한 신경 컴퓨터(DNC))을 평가한다.
• NTM을 표준 RNN 및 기타 시퀀스 모델과 비교하여 알고리즘 작업에서의 학습 성능을 평가한다.
• qualitative 및 비교 분석을 통해 NTM이 정렬 및 복사와 같은 알고리즘을 학습하고 일반화하는 능력을 평가한다.
• 정확한 메모리 읽기/쓰기 작업을 가능하게 하는 미분 가능한 주소 지정 메커니즘(예: 콘텐츠 기반 및 위치 기반 주소 지정)의 역할을 논의한다.

실험 결과

연구 질문

• RQ1 신경 터링 머신은 신경망과 외부 메모리를 어떻게 통합하여 알고리즘 학습을 가능하게 하는가?
• RQ2 NTM의 핵심 아키텍처 구성 요소와 메모리 접근 메커니즘은 무엇이며, 이는 학습을 어떻게 지원하는가?
• RQ3 DNC와 같은 NTM의 다양한 변종은 성능 및 일반화 측면에서 원본 아키텍처에 비해 어떻게 향상되는가?
• RQ4 NTM은 전통적인 RNN과 비교해 알고리즘 작업 학습에서 어떤 방식으로 슈퍼어리어하거나 다름을 보이는가?
• RQ5 실제 AI 응용 분야에 NTM를 구현할 때 현재의 한계와 열린 도전 과제는 무엇인가?

주요 결과

• NTM는 콘텐츠 기반 및 위치 기반 주소 지정을 통한 미분 가능한 메모리 접근을 통해 복사, 정렬, 연관 기억 회상과 같은 알고리즘 작업의 학습과 일반화 능력을 보여준다.
• 미분 가능한 신경 컨트롤러와 외부 메모리 행렬의 통합은 시퀀스 기반 작업에서 엔드 투 엔드 학습을 가능하게 한다.
• DNC와 같은 NTM 변종은 향상된 메모리 주소 지정 및 쓰기 메커니즘 덕분에 복잡한 작업에서 향상된 성능을 보인다.
• 장기 의존성 요구 작업에서 특히, 표준 RNN보다 더 긴 시퀀스 길이로의 일반화 능력이 뛰어나다.
• 그럼에도 불구하고 NTM는 대규모 또는 고차원 작업에서의 확장성과 학습 안정성 측면에서 도전 과제를 겪는다.
• 더 효율적인 메모리 주소 지정 전략과 미분 가능한 신경 아키텍처에서의 일반화 이론적 이해의 필요성을 이 리뷰는 식별한다.