[論文レビュー] MIMONets: Multiple-Input-Multiple-Output Neural Networks Exploiting Computation in Superposition

Nicolas Menet, Michael Hersche+4 more|arXiv (Cornell University)|Dec 5, 2023

Advanced Neural Network Applications被引用数 6

ひとこと要約

MIMONets は、ベクトル的記号的アーキテクチャ（VSA）を用いてスーパポジションにおける計算を活用する、複数入力・複数出力ニューラルネットワークのための新規フレームワークを導入する。固定幅の分散表現を用いて複数の入力を同時に処理可能であり、入力を高次元のキーにバインドし、包括的な非線形変換を適用し、個々の結果をアンバインドすることで、最大4倍の高速化を達成しつつ精度の損失を最小限に抑える。この手法は、畳み込みニューラルネットワーク（MIMOConv）およびトランスフォーマー（MIMOFormer）の両方で成功を収めた。

ABSTRACT

With the advent of deep learning, progressively larger neural networks have been designed to solve complex tasks. We take advantage of these capacity-rich models to lower the cost of inference by exploiting computation in superposition. To reduce the computational burden per input, we propose Multiple-Input-Multiple-Output Neural Networks (MIMONets) capable of handling many inputs at once. MIMONets augment various deep neural network architectures with variable binding mechanisms to represent an arbitrary number of inputs in a compositional data structure via fixed-width distributed representations. Accordingly, MIMONets adapt nonlinear neural transformations to process the data structure holistically, leading to a speedup nearly proportional to the number of superposed input items in the data structure. After processing in superposition, an unbinding mechanism recovers each transformed input of interest. MIMONets also provide a dynamic trade-off between accuracy and throughput by an instantaneous on-demand switching between a set of accuracy-throughput operating points, yet within a single set of fixed parameters. We apply the concept of MIMONets to both CNN and Transformer architectures resulting in MIMOConv and MIMOFormer, respectively. Empirical evaluations show that MIMOConv achieves about 2-4 x speedup at an accuracy delta within [+0.68, -3.18]% compared to WideResNet CNNs on CIFAR10 and CIFAR100. Similarly, MIMOFormer can handle 2-4 inputs at once while maintaining a high average accuracy within a [-1.07, -3.43]% delta on the long range arena benchmark. Finally, we provide mathematical bounds on the interference between superposition channels in MIMOFormer. Our code is available at https://github.com/IBM/multiple-input-multiple-output-nets.

研究の動機と目的

• 大規模なディープニューラルネットワークの計算コストの増大に応じて、複数の入力を同時に処理することで推論遅延を低減する。
• これまで干渉のため線形演算に限られていたスーパポジションにおける非線形変換の適用という課題を克服する。
• 固定パラメータを持つ単一のモデルを用いて、推論時に精度とスループットの間で動的な、オンデマンドのトレードオフを実現する。
• アテンションメカニズムが顕著な干渉を引き起こす複雑なアーキテクチャ、例えばトランスフォーマーへのスーパポジションのパラダイムの拡張を実現する。
• スーパポジションチャネルにおける干渉の理論的境界を提示し、標準ベンチマーク上で実験的に検証する。

提案手法

• 高次元のキーを用いてバインドすることで、固定幅の分散的ベクトル記号的データ構造に複数の入力をキー・バリューのペアとして表現する。
• 全スーパポジションデータ構造に対して一回の非線形変換（例：畳み込み層やアテンション層）を適用し、スーパポジションにおける包括的計算を可能にする。
• 局所性を保つバインド操作（PWHRR）と等長性を誘導する正則化を用いて、スーパポジションチャネル間の干渉を最小限に抑える。
• 逆キーを用いた学習可能なアンバインド機構を実装し、処理後に個々の変換済み出力を回復する。
• トランスフォーマーでは、2次元グリッドバインド方式を採用して、スーパポジションでアテンションスコアを計算し、高次元において正確なドット積アテンションに収束することを保証する。
• 干渉歪みに関する確率的尾部境界を導出し、次元が増加するにつれてノイズのないアテンションに収束することを示す。

Figure 1 : MIMONets simultaneously pass multiple inputs through a nonlinear function, e.g., a deep convolutional network (on top) or a Transformer (on bottom). Input samples are bound with high-dimensional keys to project the samples into quasi-orthogonal subspaces. The results of the individual sam

実験結果

リサーチクエスチョン

• RQ1 複数の入力をスーパポジションにまとめて、顕著な干渉を伴わずに包括的な非線形ニューラル変換を適用できるか？
• RQ2 畳み込みニューラルネットワークやトランスフォーマーのような深層非線形アーキテクチャにおいて、スーパポジションチャネル間の干渉をどのように最小化できるか？
• RQ3 MIMONets は、単一のモデルを用いて推論時に精度とスループットの間で動的な、オンデマンドのトレードオフを実現できるか？
• RQ4 スーパポジションベースの計算は、トランスフォーマーアーキテクチャにおいて、アテンションの品質をどの程度保持できるか？
• RQ5 スーパポジションされたデータ構造におけるアテンションの歪みと収束に関して、どのような理論的保証を提供できるか？

主な発見

• MIMOConv は、CIFAR10 および CIFAR100 で4つの入力をスーパポジションで処理する際、約2倍から4倍の高速化を達成し、精度損失は1.24%〜3.18%にとどまる。
• MIMOFormer は、Long Range Arena ベンチマークで高い平均精度を維持しており、2〜4つの入力を同時に処理する際の精度低下は1.07%〜3.43%にとどまる。
• 合成シーケンスモデリングタスクでは、MIMOFormer はアテンションと関連記憶の両方で、96.52% および 99.40% の精度を達成し、DataMUX よりも70ポイント以上優れている。
• 理論的分析により、MIMOFormer における干渉歪みは次元が増加するにつれて減少し、次元が高くなると正確なドット積アテンションに収束することが示された。
• MIMONets は、再トレーニングなしに、推論時に精度とスループットの動作点を動的に切り替えられる。
• 実験的結果により、MIMOFormer は DataMUX よりもぼやけた問題を示さずに、真のアテンションを成功裏に近似していることが確認された。

Figure 2 : MIMOConv configured with $N$ = $3$ channels. The input images are passed individually through the first convolutional layer before binding each feature value with a channel-specific high-dimensional key. The key-value pairs are superposed yielding a dimensionality-preserving composition a