[論文レビュー] DataMUX: Data Multiplexing for Neural Networks

Vishvak Murahari, Carlos Jimenez-Gomez+2 more|arXiv (Cornell University)|Feb 18, 2022

Topic Modeling被引用数 9

ひとこと要約

DataMUXは、入力を1つのコンactな混合表現に統合するための手法を導入し、複数の入力を同時に処理できるように深層ニューラルネットワークを可能にする。混合層が入力を統合し、復元層が個々の予測を回復する。MNLI や SST-2 のようなタスクで最大18倍の推論スループット向上を達成し、精度低下は4%未満に抑えられ、Transformer では実現可能性が示され、MLP や CNN では限定的な実用性が示された。

ABSTRACT

In this paper, we introduce data multiplexing (DataMUX), a technique that enables deep neural networks to process multiple inputs simultaneously using a single compact representation. DataMUX demonstrates that neural networks are capable of generating accurate predictions over mixtures of inputs, resulting in increased throughput with minimal extra memory requirements. Our approach uses two key components -- 1) a multiplexing layer that performs a fixed linear transformation to each input before combining them to create a mixed representation of the same size as a single input, which is then processed by the base network, and 2) a demultiplexing layer that converts the base network's output back into independent representations before producing predictions for each input. We show the viability of DataMUX for different architectures (Transformers, and to a lesser extent MLPs and CNNs) across six different tasks spanning sentence classification, named entity recognition and image classification. For instance, DataMUX for Transformers can multiplex up to $20$x/$40$x inputs, achieving $11$x/$18$x increase in throughput with minimal absolute performance drops of $<2\%$ and $<4\%$ respectively on MNLI, a natural language inference task. We also provide a theoretical construction for multiplexing in self-attention networks and analyze the effect of various design elements in DataMUX.

研究の動機と目的

• 深層ニューラルネットワークが、顕著な性能低下を伴わずに、単一のコンactな表現を用いて複数の入力を同時に処理できるかを検討すること。
• メモリおよび計算コストの増加を最小限に抑えながら、推論スループットを向上させる手法を設計すること。
• 変換器、MLP、CNN を含む多様なアーキテクチャと、自然言語処理やビジョンのタスクにおいて、データ多重化の実現可能性を示すこと。
• 自己注意機構を用いたネットワークにおけるデータ多重化の理論的および実験的限界を分析すること。
• 追加パラメータを最小限に抑えながら、エンドツーエンドで多重化モデルを学習するフレームワークを提供すること。

提案手法

• 混合層は、各入力に対して固定された線形変換（例：ランダム直交または低ランク）を適用し、それらを1つの入力サイズと同等の混合表現に統合する。
• ベースとなるニューラルネットワーク（例：変換器、MLP、CNN）は、混合表現を単一の入力として処理する。
• 復元層は、ネットワーク出力を元の入力ごとの別々の表現に再構成する。
• 混合および復元層は微分可能であり、標準的な誤差逆伝播法による共同学習が可能である。
• 多重化モデルの学習安定性を向上させるために、特別なトークン復元事前学習目的関数が導入された。
• 文書分類、名前付きエンティティ認識、画像分類の6つのタスクに本手法を適用し、混合戦略およびモデル部品に関するアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、単一のコンactな混合表現を用いて、複数の入力を同時に正確に予測できるように学習可能か？
• RQ2 異なるアーキテクチャにおいて、データ多重化は推論スループットとモデル精度にどのように影響を与えるか？
• RQ3 自己注意ネットワークにおける成功したデータ多重化を可能にするアーキテクチャ的および学習的条件は何か？
• RQ4 異なる混合および復元戦略は、MLP、CNN、変換器における性能にどのように影響を与えるか？
• RQ5 データ多重化は、多様な自然言語処理およびビジョンタスクにどの程度一般化可能か？

主な発見

• DataMUXにより、変換器はMNLIで最大40入力の多重処理が可能となり、精度低下は4%にとどまり、推論スループットは最大18倍向上した。
• SST-2では、40入力を同時に処理する多重化変換器（T-MUX）が、通常の変換器の98%の精度を維持した。
• MLPでは、低ランク変換を用いたデータ多重化により、N=8で約78%の精度が得られたが、ベースラインの約95%に比べて中程度の性能低下が生じた。
• CNNでは、N=4まで多重化可能で80%以上の精度を維持したが、それ以上になると急激に性能が低下し、特に空間局所性を損なう直交変換では顕著だった。
• 混合表現は単一入力と同等のサイズであるため、バッチ次元の増加なしに、メモリおよび計算コストの増加は最小限に抑えられ、高いスループットが実現可能だった。
• 理論的分析により、自己注意機構はN個の独立した部分空間で入力を処理できることを確認し、注意ネットワークにおける多重化の実現可能性を裏付けた。