[論文レビュー] LambdaNetworks: Modeling Long-Range Interactions Without Attention

Irwan Bello|arXiv (Cornell University)|Feb 17, 2021

Advanced Neural Network Applications参考文献 60被引用数 48

ひとこと要約

LambdaNetworksは、注意機構を用いずに文脈を線形関数に変換するラムダ層を導入し、長距離相互作用をモデル化する。ImageNet、COCOで強力な性能を発揮し、注意ベースの方法より効率を改善。

ABSTRACT

We present lambda layers -- an alternative framework to self-attention -- for capturing long-range interactions between an input and structured contextual information (e.g. a pixel surrounded by other pixels). Lambda layers capture such interactions by transforming available contexts into linear functions, termed lambdas, and applying these linear functions to each input separately. Similar to linear attention, lambda layers bypass expensive attention maps, but in contrast, they model both content and position-based interactions which enables their application to large structured inputs such as images. The resulting neural network architectures, LambdaNetworks, significantly outperform their convolutional and attentional counterparts on ImageNet classification, COCO object detection and COCO instance segmentation, while being more computationally efficient. Additionally, we design LambdaResNets, a family of hybrid architectures across different scales, that considerably improves the speed-accuracy tradeoff of image classification models. LambdaResNets reach excellent accuracies on ImageNet while being 3.2 - 4.4x faster than the popular EfficientNets on modern machine learning accelerators. When training with an additional 130M pseudo-labeled images, LambdaResNets achieve up to a 9.5x speed-up over the corresponding EfficientNet checkpoints.

研究の動機と目的

• 画像のような構造化された入力において、コストの高い注意機構を用いずに長距離依存性をモデル化する動機付け。
• 各クエリに適用される線形関数として文脈を要約するラムダ層を開発する。
• 視覚タスクにおいて、畳み込みや注意よりも効率性を高めつつラムダ層が優れた性能を発揮することを示す。

提案手法

• クエリとコンテキストを定義し、内容ベースの相互作用と位置ベースの相互作用を形式化する。
• ラムダ層を導入し、文脈ラムダを内容成分と位置成分の和として計算する (lambda n = K^T V + E_n^T V)。
• 複数のクエリ由来のラムダの出力を連結することで、時間と空間の複雑さを低減するマルチクエリ形式を使用する。
• 相対位置エンベディングを用いて並進等価性を確保し、局所文脈のためのラムダ畳み込みを提示する。
• ImageNet、COCO、半教師あり実験を通じて、畳み込みやさまざまな注意機構の変種と比較する。

実験結果

リサーチクエスチョン

• RQ1 ラムダ層は注意マップを具体的に明示化せずに、画像内のグローバルな長距離相互作用を捉えることができるか？
• RQ2 視覚タスクの精度を向上させつつ、自己注意より高速性とメモリ効率を提供するか？
• RQ3 スケールを超えた速度と精度のトレードオフの観点から、畳み込み-ラムダのハイブリッドアーキテクチャはどのように性能を示すか？
• RQ4 マルチクエリ形式と並進等価性埋め込みが性能と効率に与える影響は何か？
• RQ5 オブジェクト検出やインスタンス分割タスクにおいて、ラムダベースのバックボーンは有用か？

主な発見

• ラムダ層は、パラメータ数を抑えつつImageNetで畳み込みおよび注意のベースラインを上回る（例: ResNet-50 で Conv ベースラインより top-1 が +1.5%）。
• ラムダネットワークは自己注意の variants よりもメモリ使用量を抑えつつ、同等またはそれ以上の精度を達成し、スループットを向上させる。
• LambdaResNets は、EfficientNet と同程度の精度で 3.2–4.4 倍、偽ラベルデータを用いた半教師あり学習では最大 9.5 倍の速度-精度のトレードオフを実現する。
• LambdaResNets は ImageNet で 84.9% の top-1 精度を達成（LambdaResNet-420、320 入力），ベースラインより COCO の box/mask 指標を改善。
• Mask-RCNN の LambdaResNet バックボーンでは、小さな物体で顕著な改善が見られ、局所化性能の向上を示唆。