[논문 리뷰] Convolutional Xformers for Vision

Pranav Jeevan, Amit sethi|arXiv (Cornell University)|2022. 01. 25.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 이미지 분류에서 최고 성능을 유지하면서 GPU 메모리 사용량과 데이터 요구량을 줄이기 위해 선형 어텐션 메커니즘과 컨볼루션 서브레이어를 조합한 하이브리드 아키텍처인 컨볼루션 Xformers for Vision (CXV)을 제안한다. 퍼포머와 라인어 트랜스포머와 같은 선형 대체 어텐션 메커니즘으로 제곱형(self-attention)을 대체하고, 컨볼루션을 통해 인덕티브 바이어스를 통합함으로써 클래스 토큰과 위치 임베딩의 필요성을 제거한다. 이로 인해 기존의 ViT, ResNet 및 기타 비전 트랜스포머보다 자원이 제한된 조건에서 뛰어난 성능을 발휘한다.

ABSTRACT

Vision transformers (ViTs) have found only limited practical use in processing images, in spite of their state-of-the-art accuracy on certain benchmarks. The reason for their limited use include their need for larger training datasets and more computational resources compared to convolutional neural networks (CNNs), owing to the quadratic complexity of their self-attention mechanism. We propose a linear attention-convolution hybrid architecture -- Convolutional X-formers for Vision (CXV) -- to overcome these limitations. We replace the quadratic attention with linear attention mechanisms, such as Performer, Nyströmformer, and Linear Transformer, to reduce its GPU usage. Inductive prior for image data is provided by convolutional sub-layers, thereby eliminating the need for class token and positional embeddings used by the ViTs. We also propose a new training method where we use two different optimizers during different phases of training and show that it improves the top-1 image classification accuracy across different architectures. CXV outperforms other architectures, token mixers (e.g. ConvMixer, FNet and MLP Mixer), transformer models (e.g. ViT, CCT, CvT and hybrid Xformers), and ResNets for image classification in scenarios with limited data and GPU resources (cores, RAM, power).

연구 동기 및 목표

• 비전 트랜스포머(ViTs)의 높은 계산 및 데이터 요구량으로 인해 실용적 사용이 제한되는 문제를 해결하기 위해.
• 제곱형(self-attention) 어텐션을 선형 어텐션 메커니즘으로 대체하여 이미지 분류에서 GPU 메모리 소비량과 학습 데이터 요구량을 줄이기 위해.
• 컨볼루션을 통한 인덕티브 바이어스 통합을 통해 클래스 토큰과 위치 임베딩에 대한 의존도를 제거하기 위해.
• 학습 단계의 서로 다른 시기에서 두 가지 다른 최적화 기법을 사용하는 전략을 통해 수렴성과 정확도를 향상시키는 학습 전략을 개발하기 위해.
• 제한된 데이터와 GPU 메모리 조건에서도 잘 일반화되며, 최신 기준 성능을 유지하거나 초월하는 모델을 개발하기 위해.

제안 방법

• 비전 트랜스포머의 제곱형(self-attention) 어텐션 메커니즘을 퍼포머, 니스트롬포머, 라인어 트랜스포머와 같은 선형 어텐션 메커니즘으로 대체하여 계산 복잡도를 감소시키기 위해.
• 각 블록 내부에 컨볼루션 서브레이어를 통합하여 이미지 데이터에 대한 인덕티브 바이어스를 제공하고, 시퀀스를 펼치지 않고도 공간적 특징 학습을 가능하게 하기 위해.
• 컨볼루션 연산을 통해 전체 네트워크에서 2D 공간적 구조를 유지함으로써 클래스 토큰과 위치 임베딩을 제거하기 위해.
• 프리-노멀라이제이션 대신 각 블록당 하나의 레이어 정규화를 사용하여 학습 안정성과 성능을 향상시키기 위해.
• 학습 단계의 서로 다른 시기에서 두 가지 다른 최적화 기법을 사용하는 '이중 최적화 기반 학습(Dual Optimizer Training, DualOpT)' 전략을 제안하여 수렴성과 정확도를 향상시키기 위해.
• 계층적 다운샘플링이나 패치 패러미터화 없이, 모든 레이어에서 입력 해상도와 공간적 구조를 유지하기 위해.

실험 결과

연구 질문

• RQ1 선형 어텐션과 컨볼루션을 조합한 하이브리드 아키텍처가 GPU 메모리 사용량을 크게 줄이고도 최고 수준의 이미지 분류 정확도를 달성할 수 있는가?
• RQ2 클래스 토큰과 위치 임베딩을 컨볼루션 기반 인덕티브 바이어스로 대체할 경우, 저데이터 및 저GPU 조건에서 모델 성능이 향상되는가?
• RQ3 이중 최적화 기반 학습 전략이 ViT, ResNet, 토큰 믹서 등 다양한 아키텍처에서 수렴 속도와 최종 정확도를 향상시킬 수 있는가?
• RQ4 CXV의 성능이 데이터 및 자원 제약 조건에서 기존 모델인 ViT, ResNet, FNet, MLP-Mixer, ConvMixer와 비교해 어떻게 되는가?
• RQ5 정규화 위치 배치 및 어텐션 메커니즘 선택과 같은 아키텍처 선택이 모델 일반화 능력과 효율성에 얼마나 큰 영향을 미치는가?

주요 결과

• CXV는 저데이터 및 저GPU 조건에서 ResNet-18, ResNet-34, ViT, CCT, CvT 및 기타 비전 트랜스포머보다 이미지 분류 성능에서 뛰어나다.
• 랜덤어우먼트(RandAugment)를 적용한 후에 정규화되지 않은 데이터를 대상으로 후처리 학습을 수행할 경우, CXV는 최상위 1위 정확도를 최대 3%p 높이는데 성공한다.
• 하이브리드 비전 라인어 트랜스포머(ViLT) 버전은 ViN 및 ViP와 같은 다른 하이브리드 ViX 모델 대비 GPU 메모리 소비량을 절반으로 줄였다.
• DualOpT 학습 전략을 적용함으로써 ViT, ResNet, 토큰 믹서 등 다양한 아키텍처에서 수렴성과 정확도가 향상되었다.
• ConvMixer와 WaveMix는 트랜스포머 수준의 성능를 보였지만 GPU 사용량이 크게 줄었으며, 이는 인덕티브 피어리어가 효율성에 매우 중요하다는 것을 시사한다.
• CXV는 ResNet보다 매개변수 수와 GPU 메모리 사용량을 수 개 차수만큼 줄였음에도 불구하고 저자원 환경에서 더 높은 정확도를 달성했다.