[논문 리뷰] Emergent Symbols through Binding in External Memory

Taylor W. Webb, Ishan Sinha외 1명|arXiv (Cornell University)|2021. 05. 03.

Ferroelectric and Negative Capacitance Devices참고 문헌 39인용 수 5

한 줄 요약

이 논문은 외부 메모리를 갖춘 순환 신경망인 잠재적 기호 바인딩 네트워크(ESBN)를 제안한다. 이는 명시적인 기호 처리 없이도 학습을 통해 기호 유사 표현이 자발적으로 나타나도록 한다. 메모리 메커니즘을 통해 변수를 바인딩함으로써, ESBN은 소수의 예시로도 새로운 개체에 대해 거의 완벽한 일반화를 달성하며, 규칙 유도 과제에서 다른 신경망 아키텍처를 능가한다.

ABSTRACT

A key aspect of human intelligence is the ability to infer abstract rules directly from high-dimensional sensory data, and to do so given only a limited amount of training experience. Deep neural network algorithms have proven to be a powerful tool for learning directly from high-dimensional data, but currently lack this capacity for data-efficient induction of abstract rules, leading some to argue that symbol-processing mechanisms will be necessary to account for this capacity. In this work, we take a step toward bridging this gap by introducing the Emergent Symbol Binding Network (ESBN), a recurrent network augmented with an external memory that enables a form of variable-binding and indirection. This binding mechanism allows symbol-like representations to emerge through the learning process without the need to explicitly incorporate symbol-processing machinery, enabling the ESBN to learn rules in a manner that is abstracted away from the particular entities to which those rules apply. Across a series of tasks, we show that this architecture displays nearly perfect generalization of learned rules to novel entities given only a limited number of training examples, and outperforms a number of other competitive neural network architectures.

연구 동기 및 목표

• 고차원 센서 데이터로부터 추상적 규칙을 데이터 효율적으로 유도하는 데에 깊이 신경망의 한계를 해결하기 위해.
• 학습을 통해 기호 유사 표현이 자발적으로 나타나도록 함으로써 신경망과 기호적 추론 사이의 격차를 메우기 위해.
• 명시적인 기호 처리 구성 요소 없이도 신경망 내에서 변수 바인딩과间접 참조를 가능하게 하는 메커니즘을 개발하기 위해.
• 학습된 규칙이 최소한의 훈련 예시로도 새로운 개체에 대해 추상적으로 일반화될 수 있음을 보여주기 위해.

제안 방법

• ESBN은 표현을 저장하고 검색하기 위해 외부 메모리 행렬을 갖춘 순환 네트워크 아키텍처를 사용한다.
• 변수 바인딩은 특정 메모리 위치에 개념을 연결하기 위해 메모리 주소 지정 메커니즘을 사용함으로써 달성되며, 이는 간접 참조를 가능하게 한다.
• 네트워크는 주의 유사 메커니즘을 통해 엔티티를 메모리 위치에 바인딩하는 방식으로 학습하며, 이는 입력에 기반한 기호의 동적 연관을 가능하게 한다.
• 구체적인 엔티티에서 벗어나 일반화할 수 있도록 함으로써, 아키텍처는 규칙 학습을 지원한다.
• 백프로파게이션 스루 타임과 미분 가능 메모리 읽기/쓰기 연산을 통해 엔드 투 엔드 학습이 가능하도록 훈련이 수행된다.

실험 결과

연구 질문

• RQ1 외부 메모리를 갖춘 신경망이 소수의 예시로도 고차원 데이터로부터 추상적 규칙을 학습할 수 있는가?
• RQ2 명시적인 기호 처리 구성 요소 없이도 신경망 내에서 기호 유사 표현이 자연스럽게 나타날 수 있는가?
• RQ3 외부 메모리 내의 바인딩 메커니즘이 훈련 중에 보지 못한 새로운 개체로의 일반화를 가능하게 하는가?
• RQ4 ESBN은 데이터 효율성과 규칙 일반화 측면에서 다른 신경망 아키텍처와 비교해 어떻게 성능을 내는가?

주요 결과

• 소수의 훈련 예시 이후 ESBN은 새로운 개체에 대해 거의 완벽한 일반화를 달성한다.
• 특히 데이터가 부족한 환경에서, ESBN은 여러 경쟁 신경망 아키텍처를 규칙 유도 과제에서 능가한다.
• 학습 과정을 통해 기호 유사 표현이 자발적으로 나타나며, 이는 특정 엔티티에서 일반 규칙로의 추상화를 가능하게 한다.
• 외부 메모리 내의 바인딩 메커니즘은 변수 바인딩과 간접 참조를 지원하며, 신경 시스템 내 기호적 추론에 핵심적인 역할을 한다.