[논문 리뷰] Resonator networks for factoring distributed representations of data structures

E. Paxon Frady, Spencer J. Kent외 2명|arXiv (Cornell University)|2020. 07. 07.

Neural Networks and Reservoir Computing참고 문헌 45인용 수 9

한 줄 요약

이 논문은 벡터 복식 아키텍처(VSAs)에서 조합적 인수 분해 문제를 효율적으로 해결하는 새로운 순환 신경망 아키텍처인 리조너 네트워크(resonator networks)를 소개한다. 이는 분산 벡터 표현으로부터 복잡한 계층적 데이터 구조(예: 트리 및 시각적 장면)를 디코딩할 수 있도록 한다. 방법은 VSA 곱셈과 패턴 복원을 번갈아 적용하여 고차원의 곱 벡터를 분해하며, 최소한의 계산으로도 구조적 데이터를 해석하는 데 뛰어난 성능을 보인다.

ABSTRACT

The ability to encode and manipulate data structures with distributed neural representations could qualitatively enhance the capabilities of traditional neural networks by supporting rule-based symbolic reasoning, a central property of cognition. Here we show how this may be accomplished within the framework of Vector Symbolic Architectures (VSA) (Plate, 1991; Gayler, 1998; Kanerva, 1996), whereby data structures are encoded by combining high-dimensional vectors with operations that together form an algebra on the space of distributed representations. In particular, we propose an efficient solution to a hard combinatorial search problem that arises when decoding elements of a VSA data structure: the factorization of products of multiple code vectors. Our proposed algorithm, called a resonator network, is a new type of recurrent neural network that interleaves VSA multiplication operations and pattern completion. We show in two examples -- parsing of a tree-like data structure and parsing of a visual scene -- how the factorization problem arises and how the resonator network can solve it. More broadly, resonator networks open the possibility to apply VSAs to myriad artificial intelligence problems in real-world domains. A companion paper (Kent et al., 2020) presents a rigorous analysis and evaluation of the performance of resonator networks, showing it out-performs alternative approaches.

연구 동기 및 목표

• 벡터 복식 아키텍처(VSAs)를 통해 인코딩된 복잡한 계층적 데이터 구조를 디코딩하는 데 어려운 조합적 탐색 문제를 해결하는 것.
• VSAs에서 다수의 고차원 코드 벡터의 곱을 분해하기 위한 생물학적으로 타당하고 계산적으로 효율적인 방법을 개발하는 것.
• 복합 데이터 구조의 분산 표현으로부터 구성 요소 원소를 디코딩하여 신경망이 상징적 추론을 수행할 수 있도록 하는 것.
• 리조너 네트워크가 시각적 장면 해석 및 트리 구조 분해와 같은 실제 AI 과제에서의 유용성을 입증하는 것.
• VSAs 기반 추론 시스템에서 브루트 포스 또는 제한된 깊이의 접근 방식에 대한 확장 가능한 대안을 제공하는 것.

제안 방법

• 리조너 네트워크를 제안하며, 이는 VSA 곱셈과 패턴 복원 연산을 번갈아 수행하는 순환 신경망 아키텍처이다.
• 피드백 메커니즘을 사용하여 곱 표현 내의 구성 요소 벡터 추정치를 반복적으로 개선한다.
• 예: 500차원과 같은 고정 크기의 고차원 벡터 공간을 사용하여 데이터 구조를 홀로그래픽 방식으로 표현함으로써 구조적 정보를 유지한다.
• 근접 이웃 또는 자가상관 검색을 통한 패턴 복원을 적용하여 곱으로부터 개별 코드 벡터를 복원한다.
• VSA 이론에서의 순열 및 곱셈 연산을 통합하여 계층적 표현을 구축하고 조작한다.
• 하이브리드 학습 접근 방식을 활용하여 네트워크가 입력 데이터(예: 이미지)를 복합적 구조를 인코딩하는 기호적 VSA 표현으로 매핑하도록 학습한다.

실험 결과

연구 질문

• RQ1 리조너 네트워크는 VSAs에서 다수의 코드 벡터가 생성한 고차원 곱 벡터의 인수 분해를 효율적으로 해결할 수 있는가?
• RQ2 리조너 네트워크는 분산 표현으로부터 트리 또는 시각적 장면과 같은 계층적 데이터 구조를 얼마나 잘 해석할 수 있는가?
• RQ3 정확도와 계산 효율성 측면에서 리조너 네트워크는 브루트 포스 또는 제한된 깊이의 VSA 디코딩 전략을 능가할 수 있는가?
• RQ4 리조너 네트워크는 종단 간 블랙박스 학습에 의존하지 않고 신경망 내에서 상징적 추론을 얼마나 잘 지원할 수 있는가?
• RQ5 리조너 네트워크는 복잡하고 조합적 공간이 큰 문제에 있어서 딥 러닝 파이프라인에 통합되어 구조적 추론을 가능하게 할 수 있는가?

주요 결과

• 리조너 네트워크는 트리 및 시각적 장면과 같은 복잡한 데이터 구조를 나타내는 고차원 곱 벡터를 높은 정확도로 성공적으로 분해한다.
• 브루트 포스 열거 및 단순 자가상관 방법과 같은 대안적 접근 방식에 비해 정확도와 계산 효율성 측면에서 뛰어난 성능을 보인다.
• 시각적 장면 해석에서, 리조너 디코딩을 사용한 VSA 표현은 단일 500차원 벡터로 최대 2.5억 가지의 가능한 객체-속성 조합을 처리할 수 있었다.
• 노이즈 및 간섭에 대해 뛰어난 강건성을 보이며, 중간 정도의 변형 조건에서도 정확한 분해를 유지했다.
• 분해를 통해 데이터 구조의 개별 구성 요소를 노출하고 조작할 수 있기에, 신경망 내에서 상징적 추론을 가능하게 한다.
• 동반 평가 논문(Kent 등, 2020)은 리조너 네트워크가 기존 방법에 비해 인수 분해 과제에서 뛰어난 성능을 달성함을 확인했다.