[论文解读] MIMONets: Multiple-Input-Multiple-Output Neural Networks Exploiting Computation in Superposition

Nicolas Menet, Michael Hersche+4 more|arXiv (Cornell University)|Dec 5, 2023

Advanced Neural Network Applications被引用 6

一句话总结

MIMONets 提出了一种用于多输入多输出神经网络的新型框架，利用向量符号架构（VSA）在叠加状态下进行计算，通过固定宽度的分布式表示实现多个输入的同时处理。该方法通过将输入绑定到高维键上，应用整体非线性变换，并解绑各个结果，实现了高达4倍的加速，且精度损失极小，成功应用于卷积神经网络（MIMOConv）和Transformer模型（MIMOFormer）。

ABSTRACT

With the advent of deep learning, progressively larger neural networks have been designed to solve complex tasks. We take advantage of these capacity-rich models to lower the cost of inference by exploiting computation in superposition. To reduce the computational burden per input, we propose Multiple-Input-Multiple-Output Neural Networks (MIMONets) capable of handling many inputs at once. MIMONets augment various deep neural network architectures with variable binding mechanisms to represent an arbitrary number of inputs in a compositional data structure via fixed-width distributed representations. Accordingly, MIMONets adapt nonlinear neural transformations to process the data structure holistically, leading to a speedup nearly proportional to the number of superposed input items in the data structure. After processing in superposition, an unbinding mechanism recovers each transformed input of interest. MIMONets also provide a dynamic trade-off between accuracy and throughput by an instantaneous on-demand switching between a set of accuracy-throughput operating points, yet within a single set of fixed parameters. We apply the concept of MIMONets to both CNN and Transformer architectures resulting in MIMOConv and MIMOFormer, respectively. Empirical evaluations show that MIMOConv achieves about 2-4 x speedup at an accuracy delta within [+0.68, -3.18]% compared to WideResNet CNNs on CIFAR10 and CIFAR100. Similarly, MIMOFormer can handle 2-4 inputs at once while maintaining a high average accuracy within a [-1.07, -3.43]% delta on the long range arena benchmark. Finally, we provide mathematical bounds on the interference between superposition channels in MIMOFormer. Our code is available at https://github.com/IBM/multiple-input-multiple-output-nets.

研究动机与目标

• 通过实现多个输入的同时处理，降低推理延迟，缓解大规模深度神经网络日益增长的计算成本。
• 克服以往因干扰限制而仅能应用于线性操作的叠加状态下的非线性变换难题。
• 利用单一具有固定参数的模型，在推理阶段实现精度与吞吐量之间的动态、按需权衡。
• 将叠加范式扩展至复杂架构（如Transformer），其中注意力机制带来了显著的干扰挑战。
• 为叠加信道中的干扰提供理论边界，并在标准基准上通过实证验证该方法。

提出的方法

• 使用高维键将多个输入表示为固定宽度的分布式向量符号数据结构中的键值对，实现绑定。
• 对整个叠加数据结构应用单个非线性变换（如卷积层或注意力层），实现在叠加状态下的整体计算。
• 采用保持局部性的绑定操作（PWHRR）和保持等距性的正则化方法，以最小化叠加信道之间的干扰。
• 通过使用逆键的可学习解绑机制，在处理后恢复各个独立的变换输出。
• 在Transformer中，采用二维网格绑定方案，在叠加状态下计算注意力分数，确保在高维下收敛至精确的点积注意力。
• 推导出干扰失真的概率尾部边界，表明随着维度增加，干扰失真收敛至无噪声注意力。

Figure 1 : MIMONets simultaneously pass multiple inputs through a nonlinear function, e.g., a deep convolutional network (on top) or a Transformer (on bottom). Input samples are bound with high-dimensional keys to project the samples into quasi-orthogonal subspaces. The results of the individual sam

实验结果

研究问题

• RQ1 是否可以在不产生显著干扰的前提下，对多个输入在叠加状态下整体应用非线性神经变换？
• RQ2 在CNN和Transformer等深度非线性架构中，如何最小化叠加信道之间的干扰？
• RQ3 MIMONets是否能通过单一模型实现在推理阶段精度与吞吐量之间的动态、按需权衡？
• RQ4 基于叠加的计算在多大程度上能保持Transformer架构中的注意力质量？
• RQ5 关于叠加数据结构中注意力的失真与收敛性，可提供哪些理论保证？

主要发现

• MIMOConv在CIFAR10和CIFAR100数据集上处理四个输入叠加时，实现约2至4倍的加速，精度损失为1.24%至3.18%。
• MIMOFormer在Long Range Arena基准测试中保持了较高的平均精度，当同时处理两到四个输入时，精度仅下降1.07%至3.43%。
• 在合成序列建模任务中，MIMOFormer在注意力和关联记忆召回任务上分别达到96.52%和99.40%的准确率，较DataMUX高出超过70个百分点。
• 理论分析表明，MIMOFormer中的干扰失真随维度增加而减小，最终收敛至精确的点积注意力。
• MIMONets支持在推理时无需微调即可在精度-吞吐量工作点之间动态切换，仅使用一个固定参数模型。
• 实证结果证实，MIMOFormer成功近似真实注意力，且未出现如DataMUX等先前方法所见的模糊问题。

Figure 2 : MIMOConv configured with $N$ = $3$ channels. The input images are passed individually through the first convolutional layer before binding each feature value with a channel-specific high-dimensional key. The key-value pairs are superposed yielding a dimensionality-preserving composition a