[논문 리뷰] DataMUX: Data Multiplexing for Neural Networks

Vishvak Murahari, Carlos Jimenez-Gomez외 2명|arXiv (Cornell University)|2022. 02. 18.

Topic Modeling인용 수 9

한 줄 요약

DataMUX는 다중 입력을 동시에 처리할 수 있도록 깊은 신경망에 단일(compact) 혼합 표현을 사용하는 기법을 도입한다. 이는 입력을 조합하는 멀티플렉싱 레이어와 복원하는 디멀티플렉싱 레이어를 통해 이루어지며, MNLI 및 SST-2와 같은 작업에서 최대 18배 높은 추론 처리량을 달성하면서 정확도 저하가 4% 미만이다. 이는 트랜스포머에서의 가능성을 입증하고, MLP 및 CNN에서는 제한된 타당성을 보여준다.

ABSTRACT

In this paper, we introduce data multiplexing (DataMUX), a technique that enables deep neural networks to process multiple inputs simultaneously using a single compact representation. DataMUX demonstrates that neural networks are capable of generating accurate predictions over mixtures of inputs, resulting in increased throughput with minimal extra memory requirements. Our approach uses two key components -- 1) a multiplexing layer that performs a fixed linear transformation to each input before combining them to create a mixed representation of the same size as a single input, which is then processed by the base network, and 2) a demultiplexing layer that converts the base network's output back into independent representations before producing predictions for each input. We show the viability of DataMUX for different architectures (Transformers, and to a lesser extent MLPs and CNNs) across six different tasks spanning sentence classification, named entity recognition and image classification. For instance, DataMUX for Transformers can multiplex up to $20$x/$40$x inputs, achieving $11$x/$18$x increase in throughput with minimal absolute performance drops of $<2\%$ and $<4\%$ respectively on MNLI, a natural language inference task. We also provide a theoretical construction for multiplexing in self-attention networks and analyze the effect of various design elements in DataMUX.

연구 동기 및 목표

• 깊은 신경망이 성능 저하 없이 단일이고 컴act한 표현을 사용해 다중 입력을 동시에 처리할 수 있는지 탐색한다.
• 메모리 및 계산 오버헤드를 최소화하면서 추론 처리량을 높이는 방법을 설계한다.
• 다양한 아키텍처(트랜스포머, MLP, CNN)와 작업(NLP, 비전)에서 데이터 멀티플렉싱의 타당성을 입증한다.
• 주의 기반 네트워크에서 데이터 멀티플렉싱의 이론적 및 실증적 한계를 분석한다.
• 최소한의 추가 파rameter로 종단 간(end-to-end)으로 멀티플렉스드 모델을 훈련할 수 있는 프레임워크를 제공한다.

제안 방법

• 멀티플렉싱 레이어는 각 입력에 고정된 선형 변환(예: 무작위 직교 또는 낮은 랭크)을 적용한 후, 단일 입력과 같은 크기의 혼합 표현으로 통합한다.
• 기본 신경망(예: 트랜스포머, MLP, CNN)은 혼합 표현을 단일 입력으로 처리한다.
• 디멀티플렉싱 레이어는 네트워크 출력을 원래 입력 각각에 대응하는 별도의 표현으로 복원한다.
• 멀티플렉싱 및 디멀티플렉싱 레이어는 미분 가능하며, 표준 역전파를 통한 공동 훈련이 가능하다.
• 멀티플렉스드 모델의 훈련 안정성을 향상시키기 위해 특수 토큰 회수 사전 훈련 목표를 도입한다.
• 문장 분류, 명명된 실체 인식, 이미지 분류 등 여섯 가지 작업에 이 방법을 적용하였으며, 멀티플렉싱 전략 및 모델 구성 요소에 대한 분석 실험을 수행하였다.

실험 결과

연구 질문

• RQ1 깊은 신경망이 성능 저하 없이 단일이고 컴팩트한 혼합 표현을 사용해 다중 입력을 동시에 정확하게 예측할 수 있는가?
• RQ2 다양한 아키텍처에서 데이터 멀티플렉싱이 추론 처리량과 모델 정확도에 어떤 영향을 미치는가?
• RQ3 자기주의 주의(self-attention) 네트워크에서 성공적인 데이터 멀티플렉싱을 가능하게 하는 아키텍처적 및 훈련 조건은 무엇인가?
• RQ4 다른 멀티플렉싱 및 디멀티플렉싱 전략이 MLP, CNN, 트랜스포머에서 성능에 어떤 영향을 미치는가?
• RQ5 데이터 멀티플렉싱는 다양한 NLP 및 비전 작업으로 일반화될 수 있는 정도는 어느 정도인가?

주요 결과

• DataMUX는 트랜스포머가 MNLI에서 최대 40개의 입력을 4%의 정확도 저하로 동시에 처리하면서 최대 18배 높은 추론 처리량을 달성한다.
• SST-2에서 멀티플렉스드 트랜스포머(T-MUX)는 40개의 입력을 동시에 처리할 때 기준 트랜스포머의 98% 정확도를 유지한다.
• MLP의 경우, 낮은 랭크 변환을 사용한 데이터 멀티플렉싱는 N=8에서 약 78%의 정확도를 기록했으며, 기준 모델의 약 95%보다는 성능 저하가 다소 크다.
• CNN은 N=4까지 멀티플렉싱이 가능하며 성능이 80% 이상을 유지하지만, 그 이상으로는 급격히 떨어지며, 특히 공간 국소성(spatial locality)을 방해하는 직교 변환의 경우 더욱 심각한 성능 저하가 발생한다.
• 혼합 표현의 크기가 단일 입력과 동일하므로 메모리 및 계산 오버헤드가 최소화되어 배치 차원 증가 없이 높은 처리량을 달성할 수 있다.
• 이론적 분석을 통해 자기주의 주의 메커니즘이 N개의 독립된 부분공간에서 입력을 처리할 수 있음을 확인하였으며, 이는 주의 네트워크에서 멀티플렉싱의 타당성을 뒷받침한다.