[論文レビュー] Computing on Functions Using Randomized Vector Representations

E. Paxon Frady, Denis Kleyko+3 more|arXiv (Cornell University)|Sep 8, 2021

Ferroelectric and Negative Capacitance Devices参考文献 108被引用数 5

ひとこと要約

この論文は、ランダムなベクトル表現を用いて連続関数の表現と計算を可能にする、ベクトル関数アーキテクチャ（VFA）を導入する。データポイントを分数乗符号化（FPE）によりベクトルにマッピングすることで、ベクトル演算が関数空間演算に対応する再生核ヒルベルト空間（RKHS）を生成する。これにより、ランダム特徴を用いた透明でスケーラブルなカーネル機械が実現され、画像認識、密度推定、非線形回帰への応用が示されている。

ABSTRACT

Vector space models for symbolic processing that encode symbols by random vectors have been proposed in cognitive science and connectionist communities under the names Vector Symbolic Architecture (VSA), and, synonymously, Hyperdimensional (HD) computing. In this paper, we generalize VSAs to function spaces by mapping continuous-valued data into a vector space such that the inner product between the representations of any two data points represents a similarity kernel. By analogy to VSA, we call this new function encoding and computing framework Vector Function Architecture (VFA). In VFAs, vectors can represent individual data points as well as elements of a function space (a reproducing kernel Hilbert space). The algebraic vector operations, inherited from VSA, correspond to well-defined operations in function space. Furthermore, we study a previously proposed method for encoding continuous data, fractional power encoding (FPE), which uses exponentiation of a random base vector to produce randomized representations of data points and fulfills the kernel properties for inducing a VFA. We show that the distribution from which elements of the base vector are sampled determines the shape of the FPE kernel, which in turn induces a VFA for computing with band-limited functions. In particular, VFAs provide an algebraic framework for implementing large-scale kernel machines with random features, extending Rahimi and Recht, 2007. Finally, we demonstrate several applications of VFA models to problems in image recognition, density estimation and nonlinear regression. Our analyses and results suggest that VFAs constitute a powerful new framework for representing and manipulating functions in distributed neural systems, with myriad applications in artificial intelligence.

研究の動機と目的

• 離散的記号から連続関数へとベクトル的記号的アーキテクチャ（VSA）を拡張し、関数空間における記号的計算に類似した計算を可能にすること。
• 現在のニューラルネットワークの知識一般化の限界と解釈不能性の問題を解決するため、関数表現のための透明で代数的なフレームワークを提供すること。
• 分数乗符号化（FPE）を一般化し、ランダムベクトルの射影を通じて類似度カーネルを誘導し、関数空間演算をサポートする方法を提供すること。
• VSAの演算（バインディングや加算など）を統合することで、ランダム特徴を用いた大規模なカーネル機械を拡張し、RahimiとRecht（2007）の研究を拡張すること。
• 画像認識、密度推定、非線形回帰の応用を通じてフレームワークを検証し、異なるカーネル形状に適応可能で、頑健であることを示すこと。

提案手法

• 各データポイントを、分数乗の指数をとったランダム位相ベクトルの積として表現する分数乗符号化（FPE）を用いて、連続的データポイントを高次元のランダムベクトルにマッピングする。
• FPEベクトル間の内積を用いて正定値カーネルを誘導し、関数空間演算をサポートする再生核ヒルベルト空間（RKHS）を形成する。
• VSAの代数的構造（加算、バインディング（ヘッダーマード積）、並べ替え）を活用し、関数加算、合成、シーケンスモデリングなどの演算を実行する。
• 基本となるランダム位相ベクトルの分布が、誘導されるカーネルの形状を決定することを示し、バンド制限関数などの特定の関数クラスに適合可能なカスタマイズが可能である。
• ヘッダーマードFPEがランダムフーリエ特徴の特別なケースであることを示すが、VSAのバインディング演算を組み込むことで、標準のランダム特徴手法にはない関数表現の操作が可能になる。
• 独立したFPEをヘッダーマード積によって組み合わせることで多次元関数表現を構築し、擬似直交性を持つランダムシードを用いることで次元間の干渉を低減する。

実験結果

リサーチクエスチョン

• RQ1 ランダム表現を用いて高次元のベクトル空間に連続関数を表現・操作可能であり、解釈可能性と代数的構造を保持できるか？
• RQ2 分数乗符号化（FPE）が、再生核ヒルベルト空間（RKHS）における関数空間演算をサポートする有効なカーネルをどのように誘導するか？
• RQ3 VFAがVSA演算（バインディングや加算など）を統合することで、スケーラブルなカーネル機械にランダムフーリエ特徴を一般化できる範囲はどの程度か？
• RQ4 基本となるランダムベクトルの分布を制御することで、FPEカーネルの形状を、バンド制限関数や周期関数などの異なる関数クラスに適合可能にできるか？
• RQ5 VFAは、画像認識、密度推定、非線形回帰といった実世界の機械学習タスクに、標準的なカーネル法と同等の性能で効果的に応用可能か？

主な発見

• ランダム位相ベクトルをベースにしたFPEは、有効な類似度カーネルを誘導し、関数をベクトルとして表現できる再生核ヒルベルト空間（RKHS）を形成する。
• 基本となるランダムベクトルの分布がカーネル関数の形状を直接決定するため、バンド制限関数や周期関数などの特定の関数クラスに適合したカーネルの設計が可能である。
• VFAは、関数加算や合成などの関数空間における明確な演算に対応する、ベクトル加算やバインディングなどの代数的演算をサポートする。
• ヘッダーマードFPEはランダムフーリエ特徴の特別なケースであるが、VFAは標準のランダム特徴手法に存在しないVSAのバインディング演算を組み込むことで、それらを拡張する。
• フレームワークはランダム特徴を用いたスケーラブルなカーネル機械を可能にし、実験的結果から画像認識、密度推定、非線形回帰において優れた性能を示している。
• 擬似直交性を持つランダムシードの使用により、独立した次元間の干渉が低減され、FPEの合成による安定的な多次元関数表現が可能になる。