[논문 리뷰] Scattering Vision Transformer: Spectral Mixing Matters

Badri N. Patro, Vijay Srinivas Agneeswaran|arXiv (Cornell University)|2023. 11. 02.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 스펙트럼 산란 네트워크와 이중나무 복소 웨이블릿 변환(DTCWT)을 사용하여 저주수 및 고주수 성분을 분리함으로써 향상된 특징 표현을 위한 새로운 비전 트랜스포머인 산란 비전 트랜스포머(SVT)를 제안한다. 스펙트럼 게이팅 네트워크와 아인슈타인 곱셈을 활용한 효율적인 토큰 및 채널 혼합을 통해 계산 복잡도를 감소시키면서도 가역성과 유지하면서, 대규모 버전에서 ImageNet에서 85.7%의 top-1 정확도를 달성하여 최신 기술 수준(SOTA)을 달성한다.

ABSTRACT

Vision transformers have gained significant attention and achieved state-of-the-art performance in various computer vision tasks, including image classification, instance segmentation, and object detection. However, challenges remain in addressing attention complexity and effectively capturing fine-grained information within images. Existing solutions often resort to down-sampling operations, such as pooling, to reduce computational cost. Unfortunately, such operations are non-invertible and can result in information loss. In this paper, we present a novel approach called Scattering Vision Transformer (SVT) to tackle these challenges. SVT incorporates a spectrally scattering network that enables the capture of intricate image details. SVT overcomes the invertibility issue associated with down-sampling operations by separating low-frequency and high-frequency components. Furthermore, SVT introduces a unique spectral gating network utilizing Einstein multiplication for token and channel mixing, effectively reducing complexity. We show that SVT achieves state-of-the-art performance on the ImageNet dataset with a significant reduction in a number of parameters and FLOPS. SVT shows 2\% improvement over LiTv2 and iFormer. SVT-H-S reaches 84.2\% top-1 accuracy, while SVT-H-B reaches 85.2\% (state-of-art for base versions) and SVT-H-L reaches 85.7\% (again state-of-art for large versions). SVT also shows comparable results in other vision tasks such as instance segmentation. SVT also outperforms other transformers in transfer learning on standard datasets such as CIFAR10, CIFAR100, Oxford Flower, and Stanford Car datasets. The project page is available on this webpage.\url{https://badripatro.github.io/svt/}.

연구 동기 및 목표

• 특히 고해상도에서 높은 계산 복잡도를 가지는 비전 트랜스포머 내 자기주의성 메커니즘의 문제를 해결하기 위해.
• 최대 풀링과 같은 비가역적 다운샘플링 연산으로 인한 정보 손실을 극복하기 위해.
• 저주수 및 고주수 성분으로의 스펙트럼 분해를 통해 세밀한 이미지 세부 정보(예: 윤곽선, 선)의 포착을 향상시키기 위해.
• 이미지 분류 및 분할 작업에서 성능을 유지하거나 향상시키면서 모델 파라미터와 FLOPs를 감소시키기 위해.
• DTCWT 기반의 산란 네트워크를 사용하여 가역적이고 정보를 유지하는 특징 추출을 가능하게 하기 위해.

제안 방법

• 입력 이미지를 저주수(에너지) 및 고주수(세부 정보) 성분으로 분해하기 위해 이중나무 복소 웨이블릿 변환(DTCWT)을 사용하는 스펙트럼 산란 네트워크를 도입한다.
• 고주수 성분에서 효율적인 토큰 및 채널 혼합을 위해 아인슈타인 곱셈을 사용하는 스펙트럼 게이팅 네트워크(SGN)를 적용하여 계산 복잡도를 감소시킨다.
• 저주수 성분을 위해 텐서 블렌딩 방법(TBM)을 사용하여 에너지 압축과 전반적인 구조를 유지한다.
• 심층적인 주의 기반 레이어가 장거리 상관관계를 포착하기 전에 세밀한 특징을 추출하기 위해 산란 네트워크를 초기 레이어로 활용한다.
• DTCWT의 가역성을 활용하여 특징 처리 중 정보 손실을 방지하고 복원 정밀도를 보장한다.
• 스펙트럼 혼합과 트랜스포머 아키텍처를 결합하여 표준 자기주의성에 대한 의존도를 줄이거나 대체함으로써 FLOPs와 파라미터 수를 감소시킨다.

실험 결과

연구 질문

• RQ1 DTCWT를 통한 스펙트럼 분해가 계산 복잡도를 증가시키지 않으면서도 비전 트랜스포머 내 세밀한 이미지 세부 정보의 표현을 향상시킬 수 있는가?
• RQ2 스펙트럼 게이팅에서 아인슈타인 곱셈을 사용할 경우 표준 자기주의성 또는 MLP 미싱과 비교해 FLOPs와 모델 크기를 얼마나 감소시킬 수 있는가?
• RQ3 DTCWT 기반 산란 네트워크의 가역성은 푸리에 또는 DWT 기반 대안들과 비교해 정보 보존 정도가 얼마나 우수한가?
• RQ4 스펙트럼 혼합과 주의 레이어를 조합한 하이브리드 아키텍처가 정확도는 높이고 파라미터 및 FLOPs를 줄이는 데서 표준 비전 트랜스포머를 능가할 수 있는가?
• RQ5 제안된 방법이 인스턴스 분할 및 하류 데이터셋에서의 전이 학습과 같은 다양한 비전 작업으로 일반화되는가?

주요 결과

• SVT-H-L은 대규모 모델 버전에서 ImageNet에서 85.7%의 top-1 정확도를 달성하여 대규모 비전 트랜스포머 모델 분야에서 새로운 최신 기술 수준을 수립한다.
• SVT-H-B는 베이스 크기 모델에서 85.2%의 top-1 정확도를 기록하여 역시 새로운 최신 기술 수준을 달성한다.
• SVT는 ImageNet에서 LiTv2와 iFormer보다 2%의 성능 향상을 기록한다.
• 정확도를 유지하거나 향상시키면서도 표준 비전 트랜스포머에 비해 FLOPs와 파라미터를 크게 감소시킨다.
• CIFAR10, CIFAR100, Oxford Flowers, Stanford Cars 등의 벤치마크에서 인스턴스 분할 및 전이 학습 성능에서도 유사한 성능을 기록한다.
• DTCWT 기반 산란 네트워크는 푸리에 또는 DWT 기반 방법보다 낮은 복원 손실을 보이며 뛰어난 가역성을 입증한다.