[论文解读] Capacity Analysis of Vector Symbolic Architectures

Kenneth L. Clarkson, Shashanka Ubaru+1 more|arXiv (Cornell University)|Jan 24, 2023

Ferroelectric and Negative Capacitance Devices被引用 6

一句话总结

本文通过分析四种向量符号架构（VSAs）——MAP-I、MAP-B及两种稀疏二值VSA变体——在集合成员资格测试和交集大小估计等符号任务中的准确性能，提供了其表示能力的理论边界。作者利用抽样技术和布隆过滤器理论，推导出在概率保证下可靠运行所需的维数要求，为基于VSA的系统建立了基础设计原则。

ABSTRACT

Hyperdimensional computing (HDC) is a biologically-inspired framework which represents symbols with high-dimensional vectors, and uses vector operations to manipulate them. The ensemble of a particular vector space and a prescribed set of vector operations (including one addition-like for "bundling" and one outer-product-like for "binding") form a *vector symbolic architecture* (VSA). While VSAs have been employed in numerous applications and have been studied empirically, many theoretical questions about VSAs remain open. We analyze the *representation capacities* of four common VSAs: MAP-I, MAP-B, and two VSAs based on sparse binary vectors. "Representation capacity' here refers to bounds on the dimensions of the VSA vectors required to perform certain symbolic tasks, such as testing for set membership $i \in S$ and estimating set intersection sizes $|X \cap Y|$ for two sets of symbols $X$ and $Y$, to a given degree of accuracy. We also analyze the ability of a novel variant of a Hopfield network (a simple model of associative memory) to perform some of the same tasks that are typically asked of VSAs. In addition to providing new bounds on VSA capacities, our analyses establish and leverage connections between VSAs, "sketching" (dimensionality reduction) algorithms, and Bloom filters.

研究动机与目标

• 对四种常见VSAs（包括MAP-I、MAP-B及两种稀疏二值VSA模型）的表示能力进行理论分析。
• 建立在集合成员资格测试和交集大小估计等符号任务中实现可靠性能所需的向量维数下限。
• 将VSA设计与抽样和布隆过滤器中的经典概念相联系，从而为容量分析提供新的理论工具。
• 提供VSA容量的高概率边界，以指导实际系统设计与维数选择。

提出的方法

• 作者使用随机高维向量对VSA操作（捆绑、绑定和相似性度量）进行建模，并在概率假设下分析其统计行为。
• 应用集中不等式和基于鞅的分析方法，以限制相似性和交集估计中的偏差，尤其针对稀疏二值向量。
• 利用与抽样算法和布隆过滤器的联系，推导出实现期望精度所需向量维数的紧致边界。
• 关键方程包括交集估计器的方差和灵敏度边界，例如 $ \text{Var}_r(f) \leq 2k^2 n_v n_w / m $，以及使用霍夫丁型不等式的尾部边界。
• 框架采用有界差值不等式的缩放版本，以控制交集估计中的误差，参数根据失败概率 $ \delta $ 进行调整。
• 分析了一种新型霍夫金德网络变体，以与VSAs在符号任务中的表现进行比较，为联想记忆能力提供基准。

实验结果

研究问题

• RQ1 在给定精度和失败概率下，VSA实现两个符号集合交集大小可靠估计所需的最小维数是多少？
• RQ2 在相同精度和可靠性约束下，MAP-I、MAP-B及两种稀疏二值VSA模型的表示能力如何比较？
• RQ3 抽样和布隆过滤器理论中的工具在推导VSA容量理论边界的程度上有多大适用性？
• RQ4 该霍夫金德网络变体能否在符号任务上与VSAs表现相当，其容量随维数如何变化？
• RQ5 在基于VSA的集合操作中，向量稀疏性、维数与估计精度之间的权衡关系如何？

主要发现

• 本文确立，对于误差容忍度 $ \varepsilon $ 和失败概率 $ \delta $ 的交集大小估计，所需向量维数 $ m $ 的量级为 $ O(\varepsilon^{-2} \log \delta^{-1}) $，且分析中推导出了明确的常数。
• 对于稀疏二值VSAs，所需维数受 $ m = 12\pi^2 k \varepsilon^{-1} n_v n_w $ 限制，其中 $ k $ 控制误差界，$ n_v, n_w $ 分别为向量的稀疏度。
• 分析表明，期望交集估计值紧密集中在其均值附近，满足 $ \mathbb{E}[\tilde{x} \mathbin{\ooalign{\hfil$\wedge$\hfil\crcr\hfil$\cdot$\hfil\crcr}} \tilde{y}] \leq k\varepsilon/2 $，从而确保低偏差。
• 所推导的边界保证误差超过 $ \varepsilon $ 的概率至多为 $ \delta $，通过设定 $ k = \frac{2K_b}{3} \varepsilon^{-1} \log \delta^{-1} $ 实现。
• 该框架成功将VSA容量与抽样和布隆过滤器理论相连接，使得已知的集中不等式可被复用，并提供统一的分析方法。
• 所分析的霍夫金德网络变体在某些符号任务中与VSAs表现相当，表明联想记忆与符号计算中可能存在共通的底层机制。