[논문 리뷰] MIMONets: Multiple-Input-Multiple-Output Neural Networks Exploiting Computation in Superposition

Nicolas Menet, Michael Hersche외 4명|arXiv (Cornell University)|2023. 12. 05.

Advanced Neural Network Applications인용 수 6

한 줄 요약

MIMONets는 벡터-심볼릭 아키텍처(VSA)를 활용해 초합성(computation in superposition)을 통해 다중 입력-다중 출력 신경망에 대한 새로운 프레임워크를 제안한다. 이는 고정 폭의 분산 표현을 통해 다중 입력을 동시에 처리할 수 있게 하며, 정확도 손실을 최소화하면서 최대 4배의 속도 향상을 달성한다. 입력을 고차원 키에 바인딩하고, 통합적인 비선형 변환을 적용한 후 개별 결과를 언바인딩하는 방식으로, CNN(MIMOConv)과 Transformer(MIMOFormer) 모두에서 성공을 거두었다.

ABSTRACT

With the advent of deep learning, progressively larger neural networks have been designed to solve complex tasks. We take advantage of these capacity-rich models to lower the cost of inference by exploiting computation in superposition. To reduce the computational burden per input, we propose Multiple-Input-Multiple-Output Neural Networks (MIMONets) capable of handling many inputs at once. MIMONets augment various deep neural network architectures with variable binding mechanisms to represent an arbitrary number of inputs in a compositional data structure via fixed-width distributed representations. Accordingly, MIMONets adapt nonlinear neural transformations to process the data structure holistically, leading to a speedup nearly proportional to the number of superposed input items in the data structure. After processing in superposition, an unbinding mechanism recovers each transformed input of interest. MIMONets also provide a dynamic trade-off between accuracy and throughput by an instantaneous on-demand switching between a set of accuracy-throughput operating points, yet within a single set of fixed parameters. We apply the concept of MIMONets to both CNN and Transformer architectures resulting in MIMOConv and MIMOFormer, respectively. Empirical evaluations show that MIMOConv achieves about 2-4 x speedup at an accuracy delta within [+0.68, -3.18]% compared to WideResNet CNNs on CIFAR10 and CIFAR100. Similarly, MIMOFormer can handle 2-4 inputs at once while maintaining a high average accuracy within a [-1.07, -3.43]% delta on the long range arena benchmark. Finally, we provide mathematical bounds on the interference between superposition channels in MIMOFormer. Our code is available at https://github.com/IBM/multiple-input-multiple-output-nets.

연구 동기 및 목표

• 대규모 딥 신경망의 증가하는 계산 비용을 해결하기 위해 동시에 여러 입력을 처리함으로써 추론 지연을 줄이는 것.
• 이전에는 간섭으로 인해 선형 연산에 국한되었던 초합성에서 비선형 변환을 적용하는 데 도전하는 것.
• 고정된 파rameter를 가진 단일 모델을 통해 추론 중 정확도와 처리량 사이의 동적이고 즉각적인 트레이드오프를 가능하게 하는 것.
• 주의 메커니즘이 상당한 간섭을 유발하는 복잡한 아키텍처인 Transformer에까지 초합성 원칙을 확장하는 것.
• 초합성 채널에서의 간섭에 대한 이론적 경계를 도출하고, 표준 벤치마크에서 실험적으로 검증하는 것.

제안 방법

• 고차원 키를 사용해 다중 입력을 고정 폭의 분산 벡터-심볼릭 데이터 구조 내 키-값 쌍으로 표현한다.
• 전체 초합성 데이터 구조에 대해 단일 비선형 변환(예: 컨볼루션 또는 어텐션 레이어)을 적용하여 초합성 내에서 통합적인 계산을 가능하게 한다.
• 지역성 보존 바인딩 연산(PWHRR)과 등장성 유도 정규화를 사용해 초합성 채널 간의 간섭을 최소화한다.
• 역행 키를 사용한 학습된 언바인딩 메커니즘을 구현하여 처리 후 개별 변환된 출력을 복원한다.
• Transformer의 경우, 2차원 격자 바인딩 방식을 사용해 초합성에서 어텐션 점수를 계산하고, 고차원에서 정확한 내적 어텐션에 수렴하도록 보장한다.
• 간섭 왜곡에 대한 확률적 尾尾 경계를 유도하여, 차원 수가 증가함에 따라 노이즈 없는 어텐션으로 수렴함을 보여준다.

Figure 1 : MIMONets simultaneously pass multiple inputs through a nonlinear function, e.g., a deep convolutional network (on top) or a Transformer (on bottom). Input samples are bound with high-dimensional keys to project the samples into quasi-orthogonal subspaces. The results of the individual sam

실험 결과

연구 질문

• RQ1 다수의 입력을 초합성 상태에서 의미 있는 간섭 없이 통합적인 비선형 신경 변환을 적용할 수 있는가?
• RQ2 CNN과 Transformer와 같은 깊은 비선형 아키텍처에서 초합성 채널 간의 간섭을 어떻게 최소화할 수 있는가?
• RQ3 MIMONets는 단일 모델을 사용해 추론 중 정확도와 처리량 사이의 동적이고 즉각적인 트레이드오프를 달성할 수 있는가?
• RQ4 초합성 기반 계산이 Transformer 아키텍처에서 어텐션 품질을 어느 정도 유지할 수 있는가?
• RQ5 초합성 데이터 구조에서 어텐션의 왜곡과 수렴에 대해 어떤 이론적 보장이 가능할 수 있는가?

주요 결과

• MIMOConv는 CIFAR10과 CIFAR100에서 네 개의 입력을 동시에 처리할 경우 약 2배에서 4배의 속도 향상을 달성하며, 정확도 손실은 1.24%에서 3.18% 수준이다.
• MIMOFormer은 Long Range Arena 벤치마크에서 두 개에서 네 개의 입력을 동시에 처리할 경우 평균 정확도가 높은 편을 유지하며, 정확도 저하가 1.07%에서 3.43% 수준이다.
• 합성 시계열 모델링 작업에서 MIMOFormer은 어텐션 정확도 96.52%와 연관 기억 정확도 99.40%를 달성했으며, DataMUX보다 70퍼센트 포인트 이상 높다.
• 이론적 분석 결과, MIMOFormer의 간섭 왜곡은 차원 수가 증가함에 따라 감소하며, 고차원에서 정확한 내적 어텐션으로 수렴함을 보였다.
• MIMONets는 재학습 없이도 추론 중 정확도-처리량 운영 포인트 간 동적 전환을 가능하게 하며, 단일 고정 파rameter 모델을 사용한다.
• 실험 결과, MIMOFormer은 DataMUX와 같은 이전 방법에서 관찰된 뿌연(blurring) 문제 없이 진짜 어텐션을 성공적으로 근사함을 확인했다.

Figure 2 : MIMOConv configured with $N$ = $3$ channels. The input images are passed individually through the first convolutional layer before binding each feature value with a channel-specific high-dimensional key. The key-value pairs are superposed yielding a dimensionality-preserving composition a