[논문 리뷰] LambdaNetworks: Modeling Long-Range Interactions Without Attention

Irwan Bello|arXiv (Cornell University)|2021. 02. 17.

Advanced Neural Network Applications참고 문헌 60인용 수 48

한 줄 요약

LambdaNetworks는 컨텍스트를 선형 함수로 변환하여 주의(attention) 없이도 장거리 상호작용을 모델링하는 람다 계층을 도입하고, ImageNet, COCO에서 강력한 성능과 주의 기반 방법에 비해 효율성을 향상시켰다.

ABSTRACT

We present lambda layers -- an alternative framework to self-attention -- for capturing long-range interactions between an input and structured contextual information (e.g. a pixel surrounded by other pixels). Lambda layers capture such interactions by transforming available contexts into linear functions, termed lambdas, and applying these linear functions to each input separately. Similar to linear attention, lambda layers bypass expensive attention maps, but in contrast, they model both content and position-based interactions which enables their application to large structured inputs such as images. The resulting neural network architectures, LambdaNetworks, significantly outperform their convolutional and attentional counterparts on ImageNet classification, COCO object detection and COCO instance segmentation, while being more computationally efficient. Additionally, we design LambdaResNets, a family of hybrid architectures across different scales, that considerably improves the speed-accuracy tradeoff of image classification models. LambdaResNets reach excellent accuracies on ImageNet while being 3.2 - 4.4x faster than the popular EfficientNets on modern machine learning accelerators. When training with an additional 130M pseudo-labeled images, LambdaResNets achieve up to a 9.5x speed-up over the corresponding EfficientNet checkpoints.

연구 동기 및 목표

• 고가의 주의 메커니즘 없이 이미지와 같은 구조화된 입력에서 장거리 의존성을 모델링하는 동기를 부여한다.
• 각 쿼리에 적용되는 선형 함수로 맥락을 요약하는 람다 계층을 개발한다.
• 람다 계층이 비전 과제에서 컨볼루션 및 주의보다 더 나은 효율성과 함께 성능을 능가할 수 있음을 입증한다.

제안 방법

• 쿼리와 컨텍스트를 정의하고 내용 기반 상호작용과 위치 기반 상호작용을 형식화한다.
• 콘텐츠 λ와 위치 λ의 합으로 컨텍스트 람다를 계산하는 람다 계층을 도입한다(람다 n = K^T V + E_n^T V).
• 여러 q로 유도된 람다의 출력들을 연결(concatenate)하여 시간/공간 복잡도를 감소시키는 다중 쿼리 형식을 사용한다.
• 상대 위치 임베딩을 통해 평행이동 등가를 선택적으로 강제하고 로컬 컨텍스트를 위한 람다 합성(convolution)도 제시한다.
• ImageNet, COCO 및 준지도 학습 실험을 통해 컨볼루션 및 다양한 주의 variant와 비교한다.

실험 결과

연구 질문

• RQ1 람다 계층이 주의 맵을 구체적으로 구현하지 않고도 이미지에서 전역적인 장거리 상호작용을 포착할 수 있는가?
• RQ2 람다 계층이 자체 주의(self-attention)보다 속도와 메모리 이점을 제공하면서 비전 과제의 정확도를 향상시킬 수 있는가?
• RQ3 확대에 따른 속도-정확도 트레이드오프 면에서 컨볼루션-람다 하이브리드 아키텍처의 성능은 어떠한가?
• RQ4 다중 쿼리 형식과 평행이동 등가 임베딩이 성능과 효율성에 미치는 영향은 무엇인가?
• RQ5 람다 기반 백본이 객체 탐지 및 인스턴스 분할 과제에 유익한가?

주요 결과

• 람다 계층은 이미지넷에서 컨볼루션 및 주의 기준선보다 매개변수가 적은 상태로 우수한 성능을 보인다(예: ResNet-50에서 Conv 기준선 대비 top-1 1.5% 포인트 향상).
• 람다 네트워크는 자체 주의 변형 대비 더 낮은 메모리 사용량과 더 높은 처리량을 제공하면서 비슷하거나 더 나은 정확도를 달성한다.
• LambdaResNets는 유사 정확도에서 EfficientNets 대비 최대 3.2–4.4배 더 빠른 속도-정확도 트레이드오프를 제공하고, 준지도 학습에서 의사레이블 데이터로 최대 9.5배의 속도 향상을 보인다.
• LambdaResNets는 ImageNet에서 84.9% top-1 정확도(LambdaResNet-420, 입력 320) 달성하고 COCO 상자/마스크 지표를 기준선보다 개선한다.
• LambdaResNet 백본을 사용하는 Mask-RCNN에서 소형 물체의 지역화 성능이 크게 개선되어 로컬라이제이션 성능이 향상되었음을 시사한다.