[论文解读] Computing on Functions Using Randomized Vector Representations

E. Paxon Frady, Denis Kleyko+3 more|arXiv (Cornell University)|Sep 8, 2021

Ferroelectric and Negative Capacitance Devices参考文献 108被引用 5

一句话总结

本文提出了向量函数架构（VFA），一种将向量符号架构（VSA）扩展至连续函数表示与计算的框架，通过随机向量表示实现。通过分数幂编码（FPE）将数据点映射为向量，VFA 构建了一个再生核希尔伯特空间（RKHS），其中向量运算对应于函数空间运算，从而实现透明、可扩展的随机特征核机器，并在图像识别、密度估计和非线性回归等任务中展示了应用效果。

ABSTRACT

Vector space models for symbolic processing that encode symbols by random vectors have been proposed in cognitive science and connectionist communities under the names Vector Symbolic Architecture (VSA), and, synonymously, Hyperdimensional (HD) computing. In this paper, we generalize VSAs to function spaces by mapping continuous-valued data into a vector space such that the inner product between the representations of any two data points represents a similarity kernel. By analogy to VSA, we call this new function encoding and computing framework Vector Function Architecture (VFA). In VFAs, vectors can represent individual data points as well as elements of a function space (a reproducing kernel Hilbert space). The algebraic vector operations, inherited from VSA, correspond to well-defined operations in function space. Furthermore, we study a previously proposed method for encoding continuous data, fractional power encoding (FPE), which uses exponentiation of a random base vector to produce randomized representations of data points and fulfills the kernel properties for inducing a VFA. We show that the distribution from which elements of the base vector are sampled determines the shape of the FPE kernel, which in turn induces a VFA for computing with band-limited functions. In particular, VFAs provide an algebraic framework for implementing large-scale kernel machines with random features, extending Rahimi and Recht, 2007. Finally, we demonstrate several applications of VFA models to problems in image recognition, density estimation and nonlinear regression. Our analyses and results suggest that VFAs constitute a powerful new framework for representing and manipulating functions in distributed neural systems, with myriad applications in artificial intelligence.

研究动机与目标

• 将向量符号架构（VSA）从离散符号扩展至连续函数，实现在函数空间上的类符号计算。
• 通过提供一种透明的代数框架来表示函数，解决当前神经网络在知识泛化能力不足和可解释性缺乏方面的局限。
• 将分数幂编码（FPE）推广为一种方法，通过随机向量投影诱导相似性核，支持函数空间运算。
• 证明 VFA 支持具有随机特征的大规模核机器，通过整合 VSA 操作（如绑定和加法）扩展了 Rahimi 和 Recht（2007）的工作。
• 通过图像识别、密度估计和非线性回归等应用验证该框架，展示其在不同核形状下的鲁棒性与适应性。

提出的方法

• 使用分数幂编码（FPE）将连续数据点映射为高维随机向量，其中每个数据点被编码为若干随机相位向量的乘积并取分数次幂。
• 利用 FPE 向量之间的内积诱导出正定核，形成支持函数空间运算的再生核希尔伯特空间（RKHS）。
• 利用 VSA 的代数结构——加法、绑定（Hadamard 积）和置换——执行函数加法、复合和序列建模等操作。
• 表明基随机相位向量的分布决定了所诱导核的形状，从而可针对特定函数类（如带限函数）进行定制。
• 证明 Hadamard FPE 是随机傅里叶特征的一种特例，但 VFA 通过引入 VSA 绑定操作扩展了其能力，实现对函数表示的操控，这是标准随机特征方法所不具备的。
• 通过 Hadaamard 积组合独立的 FPE，构建多维函数表示，使用伪正交随机种子确保各维度间交互性低。

实验结果

研究问题

• RQ1 能否在高维向量空间中使用随机表示来表示和操作连续函数，同时保持可解释性和代数结构？
• RQ2 分数幂编码（FPE）如何在再生核希尔伯特空间中诱导出支持函数空间运算的有效核？
• RQ3 VFA 在多大程度上通过整合 VSA 操作（如绑定和加法）推广随机傅里叶特征，以支持可扩展的核机器？
• RQ4 如何通过基随机向量的分布控制 FPE 核的形状，以适应不同类别的函数（如带限函数、周期函数）？
• RQ5 VFA 能否在真实世界机器学习任务（如图像识别、密度估计和非线性回归）中有效应用，并达到与标准核方法相当的性能？

主要发现

• 使用随机相位基向量的 FPE 可诱导出有效的相似性核，形成再生核希尔伯特空间（RKHS），从而实现将函数表示为向量。
• 基随机向量的分布直接决定了核函数的形状，使得可针对特定函数类（如带限函数或周期函数）设计核函数。
• VFA 支持向量加法和绑定等代数运算，这些运算在函数空间中对应于明确的运算，如函数加法和复合。
• Hadamard FPE 被证明是随机傅里叶特征的一种特例，但 VFA 通过引入 VSA 绑定操作扩展了其能力，实现标准随机特征方法所不具备的函数操控。
• 该框架支持具有随机特征的大规模核机器，实证结果表明其在图像识别、密度估计和非线性回归任务中表现优异。
• 使用伪正交随机种子可确保独立维度间的低交互性，从而通过 FPE 组合实现稳定可靠的多维函数表示。