[논문 리뷰] Faster Attention Is What You Need: A Fast Self-Attention Neural Network Backbone Architecture for the Edge via Double-Condensing Attention Condensers

Alexander Wong, Mohammad Javad Shafiee외 3명|arXiv (Cornell University)|2022. 08. 15.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 이중 압축 주의 압축기(DC-AC)를 사용하여 특징 임bedding를 이중 압축 단계를 통해 압축하는 빠른 자기주도 주의 신경망 백본인 AttendNeXt를 제안한다. 이 아키텍처는 ARM Cortex A72에서 FB-Net C 및 MobileOne-S1보다 10배 이상 높은 추론 처리량을 달성하면서도 높은 정확도(1.1% 높은 상위-1 정확도)와 더 작은 모델 크기(1.37배 더 작은 MobileNetV3-L)를 유지한다.

ABSTRACT

With the growing adoption of deep learning for on-device TinyML applications, there has been an ever-increasing demand for efficient neural network backbones optimized for the edge. Recently, the introduction of attention condenser networks have resulted in low-footprint, highly-efficient, self-attention neural networks that strike a strong balance between accuracy and speed. In this study, we introduce a faster attention condenser design called double-condensing attention condensers that allow for highly condensed feature embeddings. We further employ a machine-driven design exploration strategy that imposes design constraints based on best practices for greater efficiency and robustness to produce the macro-micro architecture constructs of the backbone. The resulting backbone (which we name AttendNeXt) achieves significantly higher inference throughput on an embedded ARM processor when compared to several other state-of-the-art efficient backbones (>10x faster than FB-Net C at higher accuracy and speed and >10x faster than MobileOne-S1 at smaller size) while having a small model size (>1.37x smaller than MobileNetv3-L at higher accuracy and speed) and strong accuracy (1.1% higher top-1 accuracy than MobileViT XS on ImageNet at higher speed). These promising results demonstrate that exploring different efficient architecture designs and self-attention mechanisms can lead to interesting new building blocks for TinyML applications.

연구 동기 및 목표

• 자원이 제한된 엣지 디바이스에서 실행되는 타이니ML 추론을 위한 효율적이고 정확한 신경망 백본의 증가하는 수요를 해결한다.
• 기존의 효율적 아키텍처의 한계를 극복하기 위해 자기주도 주의 메커니즘을 향상시켜 속도-정확도-작은 크기의 상호 조정을 개선한다.
• 더 높은 압축도와 더 낮은 계산 비용을 가진 더 표현력 있는 특징 임베딩을 가능하게 하는 새로운 이중 압축 주의 압축기(DC-AC) 메커니즘을 개발한다.
• DC-AC 모듈을 통합하면서도 효율성과 안정성의 최고 실천 기준을 준수하는 강력한 기계 기반의 마크로-마이크로 아키텍처(AttendNeXt)를 설계한다.
• ImageNet에서 고처리량 추론, 작은 모델 크기, 뛰어난 정확도를 달성함으로써 엣지 하드웨어에서 뛰어난 성능을 입증한다.

제안 방법

• 입력 특징에 대해 하나의 압축 단계와 첫 번째 압축의 출력에 대해 또 다른 압축 단계를 적용하는 이중 압축 주의 압축기(DC-AC)를 도입하여 더 깊은 특징 압축을 가능하게 한다.
• 압축층(공간적 및 채널 차원을 주의 기반 풀링을 통해 감소시키기 위한), 임베딩층(공간적-채널적 활성화 관계를 함께 학습하기 위한), 확장층(잔차 연결을 위해 차원 복원하기 위한)의 세 가지 핵심 구성 요소를 포함한 DC-AC 메커니즘을 설계한다.
• 효율성, 강건성, 하드웨어 호환성 기준에 기반한 설계 제약 조건을 강제하는 기계 기반 설계 탐색 전략을 활용하여 AttendNeXt 마크로-마이크로 아키텍처를 생성한다.
• 비균일한 컬럼 구조를 사용하여 아키텍처를 구성한다: 초기 단계에서는 분리된 특징 학습을 위한 독립적인 컬럼을 사용하고, 후속 단계에서는 복잡한 추상화를 위해 컬럼 간 상호작용을 증가시킨다.
• 모든 네트워크에 걸쳐 AADS(적응형 주의 기반 다운샘플링) 모듈을 통합하여 주의 메커니즘의 이동 불변성과 안정성을 향상시킨다.
• ARM Cortex A72에서 상위-1 정확도, 모델 크기, 추론 처리량을 균형 잡는 다목적 최적화 프레임워크를 사용하여 최종 아키텍처를 최적화한다.

실험 결과

연구 질문

• RQ1 이중 압축 주의 메커니즘은 엣지 배포를 위한 자기주도 주의 네트워크의 효율성과 표현력에 크게 기여할 수 있는가?
• RQ2 단일 압축 주의 압축기와 비교할 때 제안된 DC-AC 메커니즘은 특징 압축, 정확도, 계산 비용 측면에서 어떻게 다른가?
• RQ3 하드웨어 인식 제약 조건을 포함한 기계 기반 설계 전략은 수작업 설계나 NAS 기반 대안보다 더 효율적이고 강건한 백본 아키텍처를 도출할 수 있는가?
• RQ4 AttendNeXt는 ARM 프로세서에서 MobileNetV3, MobileOne, FB-Net와 같은 최신 기술의 효율적 백본과 비교해 볼 때 뛰어난 속도-정확도-크기 균형을 달성할 수 있는가?
• RQ5 이중 압축은 저전력 디바이스에서 시각 작업을 위한 주의 기반 특징 학습의 일반화 능력과 강건성 향상에 기여하는가?

주요 결과

• AttendNeXt는 ImageNet에서 75.8%의 상위-1 정확도를 달성하여 MobileViT-XS보다 1.1% 높으며, 정확도 측면에서 다른 최신 기술 모델과 맞먹거나 초월한다.
• ARM Cortex A72 프로세서에서 AttendNeXt는 FB-Net C 및 MobileOne-S1보다 10배 이상 높은 추론 처리량을 제공하며, OFA-62 및 MobileNetV3-L보다도 6배 이상 더 빠르다.
• AttendNeXt는 OFA-62보다 1.47배 작고, MobileNetV3-L보다 1.37배 작다. 이는 정확도를 희생시키지 않은 채 강력한 모델 압축을 보여준다.
• 이중 압축 주의 압축기(DC-AC)는 이전의 주의 압축기보다 더 압축된 특징 임베딩을 가능하게 하여 계산 복잡도를 감소시키면서도 표현력은 유지한다.
• 단계별로 컬럼 간 상호작용을 증가시키는 비균일한 컬럼 아키텍처는 특징 추상화 효율성을 향상시키며, 초기 단계에서는 독립적 학습을, 깊은 단계에서는 협업 학습을 가능하게 한다.
• AADS 모듈의 통합은 이동 불변성과 안정성을 향상시켜 엣지 하드웨어에서 다양한 입력 변형에 걸쳐 강력한 성능 기여를 한다.