[논문 리뷰] Vector Symbolic Architectures as a Computing Framework for Nanoscale Hardware.

Denis Kleyko, Mike Davies외 9명|arXiv (Cornell University)|2021. 06. 09.

Ferroelectric and Negative Capacitance Devices참고 문헌 120인용 수 35

한 줄 요약

이 논문은 고차원 벡터 대수를 활용하여 슈퍼포지션 기반 계산을 효율적으로 구현할 수 있도록 하며, 확률적이고 나노스케일 하드웨어에 특화된 계산 프레임워크로 벡터 심볼릭 아키텍처(VSAs)를 제안한다. 이 프레임워크는 튜링 완전 연산, 네이티브 분산 표현, 조합 최적화 문제에 대한 효율적인 해결을 지원한다.

ABSTRACT

This article reviews recent progress in the development of the framework Vector Symbolic Architectures (also known as Hyperdimensional Computing). This framework is well suited for implementation in stochastic, nanoscale hardware and it naturally expresses the types of cognitive operations required for Artificial Intelligence (AI). We demonstrate in this article that the ring-like algebraic structure of Vector Symbolic Architectures offers simple but powerful operations on high-dimensional vectors that can support all data structures and manipulations relevant in modern computing. In addition, we illustrate the distinguishing feature of Vector Symbolic Architectures, computing in superposition, which sets it apart from conventional computing. This latter property opens the door to efficient solutions to the difficult combinatorial search problems inherent in AI applications. Vector Symbolic Architectures are Turing complete, as we show, and we see them acting as a framework for with distributed representations in myriad AI settings. This paper serves as a reference for computer architects by illustrating techniques and philosophy of VSAs for distributed and relevance to emerging hardware, such as neuromorphic computing.

연구 동기 및 목표

• 확률적이고 나노스케일 하드웨어 플랫폼을 위한 벡터 심볼릭 아키텍처(VSAs)를 실용적인 계산 프레임워크로 정립하기.
• 고차원 벡터 대수를 통해 인공지능에 필수적인 인지 연산이 VSAs에서 자연스럽게 지원됨을 보여주기.
• 슈퍼포지션에서의 계산이 AI 작업에 있어 고전적 계산 방식보다 어떤 이점을 제공하는지 강조하기.
• VSAs가 튜링 완전함을 입증함으로써 분산 표현을 사용한 일반 목적 계산을 지원함을 보여주기.
• 컴퓨터 아키텍트들이 VSAs와 분산 표현을 기반으로 AI 네이티브 시스템을 설계할 수 있도록 개념적이고 기술적인 기초를 제공하기.

제안 방법

• 고차원 벡터에 대한 고리 구조(algebraic structure)를 활용하여 바인딩, 슈퍼포지션, 순열과 같은 심볼릭 연산을 수행하기.
• 데이터와 개념을 의미적 및 구조적 관계를 벡터 연산을 통해 코딩한 분산 고차원 벡터로 표현하기.
• 벡터 상태 간에 동시에 여러 계산을 수행할 수 있도록 슈퍼포지션 성질을 활용하여 계산 복잡도를 감소시키기.
• 바인딩(예: 원형 이동 또는 외적 사용)과 순열 연산을 적용하여 벡터 공간에서 심볼릭 구조를 조합하고 조작하기.
• 벡터 연산을 통한 일반 계산 시뮬레이션 능력을 입증함으로써 VSAs를 튜링 완전 시스템으로 공식화하기.
• 뉴모르픽 및 나노스케일 하드웨어 제약 조건에 VSAs 연산을 매핑하여 노이즈 및 확률적 특성에 대한 강건성을 강조하기.

실험 결과

연구 질문

• RQ1 확률적이고 나노스케일 하드웨어에서 일반 목적 계산을 지원하기 위해 벡터 심볼릭 아키텍처(VSAs)는 어떻게 구성될 수 있는가?
• RQ2 VSAs 내에서 슈퍼포지션에서의 계산이 AI 워크로드에 있어 고전적 계산 방식보다 어떤 이점이 있는가?
• RQ3 고차원 벡터의 어떤 대수적 성질이 VSAs에서 심볼릭 연산과 데이터 구조의 구현을 가능하게 하는가?
• RQ4 VSAs 프레임워크는 어떻게 분산 표현과 인공지능에 관련된 인지 연산을 지원하는가?
• RQ5 VSAs가 신개념 하드웨어 패러다임과의 호환성을 유지하면서도 얼마나 튜링 완전함을 입증할 수 있는가?

주요 결과

• VSAs는 노이즈에 강건하고 내재된 고장 내성 덕분에 확률적이고 나노스케일 하드웨어에 구현하기에 본질적으로 적합하다.
• VSAs의 고리 구조 대수적 성질은 고차원 벡터에서 단순하면서도 강력한 연산을 가능하게 하며, 현대 컴퓨팅의 모든 핵심 데이터 구조와 조작을 지원한다.
• 슈퍼포지션에서의 계산은 AI에서 흔한 조합 최적화 문제를 효율적으로 해결할 수 있게 하여, 특정 맥락에서 고전적 접근 방식을 능가한다.
• VSAs는 공식적으로 튜링 완전함을 증명하였으며, 이는 분산 표현을 사용한 일반 계산 능력을 확인한다.
• 프레임워크는 바인딩과 순열과 같은 인지 연산을 자연스럽게 표현하여 벡터 공간 내에서 심볼릭 추론을 가능하게 한다.
• VSAs는 다양한 AI 응용 분야에서 분산 표현을 통합적으로 다룰 수 있는 프레임워크를 제공하며, 심볼릭 AI와 커넥티즘 접근 간의 다리를 놓는다.