[논문 리뷰] RaftMLP: Do MLP-based Models Dream of Winning Over Computer Vision?

Yuki Tatsunami, Masato Taki|arXiv (Cornell University)|2021. 08. 09.

Advanced Neural Network Applications참고 문헌 35인용 수 8

한 줄 요약

RaftMLP는 수직/수평 토큰 믹싱과 채널 간 더 밀접한 공간적 상관관계를 통해 구조적인 인도크티브 바이어스를 도입함으로써 성능과 효율성을 향상시키는 새로운 MLP 기반 아키텍처를 제안한다. MLP-Mixer 및 기타 MLP 기반 모델보다 더 적은 파라미터 수와 낮은 계산 비용으로 향상된 정확도를 달성하여 비전 작업에서 CNN을 대체할 잠재력을 보여준다.

ABSTRACT

For the past ten years, CNN has reigned supreme in the world of computer vision, but recently, Transformer is on the rise. However, the quadratic computational cost of self-attention has become a severe problem of practice. There has been much research on architectures without CNN and self-attention in this context. In particular, MLP-Mixer is a simple idea designed using MLPs and hit an accuracy comparable to the Vision Transformer. However, the only inductive bias in this architecture is the embedding of tokens. Thus, there is still a possibility to build a non-convolutional inductive bias into the architecture itself, and we built in an inductive bias using two simple ideas. A way is to divide the token-mixing block vertically and horizontally. Another way is to make spatial correlations denser among some channels of token-mixing. With this approach, we were able to improve the accuracy of the MLP-Mixer while reducing its parameters and computational complexity. Compared to other MLP-based models, the proposed model, named RaftMLP has a good balance of computational complexity, the number of parameters, and actual memory usage. In addition, our work indicates that MLP-based models have the potential to replace CNNs by adopting inductive bias. The source code in PyTorch version is available at \url{this https URL}.

연구 동기 및 목표

• MLP-Mixer의 단점인 토큰 임bedding 외에 강력한 인도크티브 바이어스가 부족한 점을 해결하기 위해.
• CNN이나 자기주도 어텐션을 사용하지 않고도 MLP 기반 비전 모델의 정확도와 효율성을 향상시키기 위해.
• 구조적인 아키텍처 기반 인도크티브 바이어스가 순수한 MLP 기반 비전 모델의 성능 향상에 기여할 수 있는지 탐색하기 위해.
• 기존의 MLP 기반 모델들과 비교해 모델 복잡도, 파라미터 수, 메모리 사용량 간의 더 나은 균형을 이루기 위해.

제안 방법

• 특징 맵을 수직 및 수평 구성요소로 분할하여 공간적 의존성을 더 잘 포착할 수 있도록 수정된 토큰 믹싱 블록을 도입한다.
• 토큰 믹싱 블록 내에서 일부 채널에 대해 조밀한 공간적 상관관계를 적용하여 국소적 특징 상호작용을 강화한다.
• 공간 차원을 별도로 처리하기 위해 토큰 믹싱 블록에 이중 분지 구조를 설계하여 인도크티브 바이어스를 향상시킨다.
• 모든 토큰에 공유된 MLP 헤드를 사용하여 파라미터 효율성을 유지하면서도 글로벌 특징 믹싱을 가능하게 한다.
• 두 단계 아키텍처를 활용: 먼저 채널 기반 MLP를 적용하고, 그 다음에 인도크티브 바이어스를 가진 공간적으로 구조화된 토큰 믹싱 블록을 적용한다.
• 모델 효율성을 높이기 위해 FLOPs와 파라미터 수를 모두 줄였으며, 높은 정확도를 유지한다.

실험 결과

연구 질문

• RQ1 MLP 기반 모델에 구조적인 인도크티브 바이어스를 도입하면 비전 작업에서 성능 향상이 이루어지는가?
• RQ2 토큰 믹싱 블록의 수직/수평 분할 방식이 정확도와 계산 효율성에 어떤 영향을 미치는가?
• RQ3 선택된 채널 간 더 조밀한 공간적 상관관계가 MLP 기반 모델의 특징 표현을 어느 정도 향상시킬 수 있는가?
• RQ4 제안된 RaftMLP 아키텍처는 MLP-Mixer 및 기타 MLP 기반 모델보다 더 나은 정확도-복잡도 트레이드오프를 달성하는가?
• RQ5 적절한 인도크티브 바이어스를 갖춘 MLP 기반 모델이 아키텍처 기반 인도크티브 바이어스를 통해 컴퓨터 비전에서 CNN을 효과적으로 대체할 수 있는가?

주요 결과

• RaftMLP는 표준 비전 벤치마크에서 MLP-Mixer보다 더 높은 정확도를 달성하면서도 파라미터 수를 줄였다.
• MLP-Mixer 및 기타 최첨단 MLP 기반 모델보다 계산 복잡도(FLOPs)가 낮다.
• 수직/수평 분할 및 조밀한 공간적 상관관계 도입으로 모델 크기를 늘리지 않고도 특징 학습이 향상되었다.
• 모델 크기, 추론 속도, 메모리 사용량 간의 유리한 균형을 보이며, 기존의 MLP 기반 아키텍처보다 효율성 면에서 뛰어나다.
• 결과적으로, 적절한 인도크티브 바이어스를 갖춘 MLP 기반 모델은 비전 작업에서 CNN을 효과적으로 대체할 수 있다.