[論文レビュー] Vector Symbolic Architectures as a Computing Framework for Nanoscale Hardware.

Denis Kleyko, Mike Davies+9 more|arXiv (Cornell University)|Jun 9, 2021

Ferroelectric and Negative Capacitance Devices参考文献 120被引用数 35

ひとこと要約

本論文は、確率的でナノスケールのハードウェアに最適化された計算フレームワークとして、高次元ベクトル代数を活用して効率的で重ね合わせに基づく計算を可能にするベクトル的記号的アーキテクチャ（VSAs）を提案する。このフレームワークはチューリング完全な演算をサポートし、分散表現をネイティブに実装し、組み合わせ最適化問題を効率的に解ける。

ABSTRACT

This article reviews recent progress in the development of the framework Vector Symbolic Architectures (also known as Hyperdimensional Computing). This framework is well suited for implementation in stochastic, nanoscale hardware and it naturally expresses the types of cognitive operations required for Artificial Intelligence (AI). We demonstrate in this article that the ring-like algebraic structure of Vector Symbolic Architectures offers simple but powerful operations on high-dimensional vectors that can support all data structures and manipulations relevant in modern computing. In addition, we illustrate the distinguishing feature of Vector Symbolic Architectures, computing in superposition, which sets it apart from conventional computing. This latter property opens the door to efficient solutions to the difficult combinatorial search problems inherent in AI applications. Vector Symbolic Architectures are Turing complete, as we show, and we see them acting as a framework for with distributed representations in myriad AI settings. This paper serves as a reference for computer architects by illustrating techniques and philosophy of VSAs for distributed and relevance to emerging hardware, such as neuromorphic computing.

研究の動機と目的

• 新興のナノスケールおよび確率的ハードウェアプラットフォーム向けに、ベクトル的記号的アーキテクチャ（VSAs）を実用的な計算フレームワークとして確立すること。
• 高次元ベクトル代数を用いることで、VSAsが人工知能に不可欠な認知的演算を自然にサポートすることを示すこと。
• AI分野の組み合わせ探索問題を効率的に処理できる、重ね合わせ状態での計算という独自の能力を強調すること。
• VSAsがチューリング完全であることを示し、分散表現を用いた汎用計算を可能にすること。
• コンピュータアーキテクトがVSAsと分散表現を用いたAIネイティブなシステムを設計するための概念的・技術的基盤を提供すること。

提案手法

• 高次元ベクトル上で輪のような代数的構造を用い、バインディング、重ね合わせ、並べ替えなどの記号的演算を実行する。
• データや概念を、ベクトル演算によって意味的および構造的関係を符号化する分散的・高次元ベクトルとして表現する。
• 重ね合わせの性質を活用して、複数の計算をベクトル状態の上で同時に実行し、計算複雑性を低減する。
• バインディング（例：巡回シフトまたは外積の使用）や並べ替えを用いて、ベクトル空間内での記号的構造の合成と操作を実行する。
• ベクトル演算によるユニバーサル計算のシミュレーションが可能であることを示し、VSAsをチューリング完全なシステムとして形式化する。
• VSAの演算を神経形態的およびナノスケールのハードウェア制約にマッピングし、ノイズや確率的要因に対する耐性を強調する。

実験結果

リサーチクエスチョン

• RQ1 確率的でナノスケールのハードウェアにおいて、ベクトル的記号的アーキテクチャ（VSAs）を一般用途計算に適した構造にどのように設計できるか。
• RQ2 VSAsにおける重ね合わせ状態での計算が、AIワークロードにおいて古典的計算と比較してどのような利点を提供するか。
• RQ3 高次元ベクトルのどのような代数的性質が、VSAsにおける記号的演算およびデータ構造の実装を可能にするか。
• RQ4 VSAsフレームワークは、人工知能に関連する分散表現および認知的演算をどのようにサポートするか。
• RQ5 VSAsが新興のハードウェアパラダイムと互換性を保ちつつ、どの程度チューリング完全であると示せるか。

主な発見

• VSAsは、ノイズに強く、内在的な耐障害性を有するため、確率的でナノスケールのハードウェアへの実装に本質的に適している。
• VSAsの輪のような代数的構造により、高次元ベクトル上で単純ながら強力な演算が可能となり、現代の計算におけるすべての基本的データ構造と操作をサポートする。
• 重ね合わせ状態での計算により、VSAsはAIに一般的な組み合わせ探索問題を効率的に解くことができ、特定の文脈では古典的手法を上回る性能を示す。
• VSAsは形式的にチューリング完全であると証明されており、分散表現を用いた汎用計算の能力が確認されている。
• フレームワークは、バインディングや並べ替えといった認知的演算を自然に表現でき、ベクトル空間内での記号的推論を可能にする。
• VSAsは、多様なAIアプリケーションにわたる分散表現を統合するフレームワークを提供し、記号的AIと結合的アプローチとの橋渡しを果たす。