[논문 리뷰] DynaMixer: A Vision MLP Architecture with Dynamic Mixing

Ziyu Wang, Wenhao Jiang외 4명|arXiv (Cornell University)|2022. 01. 28.

Advanced Neural Network Applications인용 수 14

한 줄 요약

DynaMixer는 입력 콘텐츠에 따라 동적으로 혼합 행렬을 생성하는 비전 MLP 아키텍처를 제안한다. 차원 축소와 다중 세그먼트 융합을 통해 효율성과 강건성을 향상시킨다. ImageNet-1K에서 97M 파라미터로 84.3%의 top-1 정확도를 달성하고, 26M 파라미터로도 82.7%를 기록하여 기존의 MLP 기반 모델을 능가한다.

ABSTRACT

Recently, MLP-like vision models have achieved promising performances on mainstream visual recognition tasks. In contrast with vision transformers and CNNs, the success of MLP-like models shows that simple information fusion operations among tokens and channels can yield a good representation power for deep recognition models. However, existing MLP-like models fuse tokens through static fusion operations, lacking adaptability to the contents of the tokens to be mixed. Thus, customary information fusion procedures are not effective enough. To this end, this paper presents an efficient MLP-like network architecture, dubbed DynaMixer, resorting to dynamic information fusion. Critically, we propose a procedure, on which the DynaMixer model relies, to dynamically generate mixing matrices by leveraging the contents of all the tokens to be mixed. To reduce the time complexity and improve the robustness, a dimensionality reduction technique and a multi-segment fusion mechanism are adopted. Our proposed DynaMixer model (97M parameters) achieves 84.3\% top-1 accuracy on the ImageNet-1K dataset without extra training data, performing favorably against the state-of-the-art vision MLP models. When the number of parameters is reduced to 26M, it still achieves 82.7\% top-1 accuracy, surpassing the existing MLP-like models with a similar capacity. The code is available at \url{https://github.com/ziyuwwang/DynaMixer}.

연구 동기 및 목표

• 기존의 MLP 기반 비전 모델에서 정적 혼합 행렬의 한계를 해결하기 위해 입력 콘텐츠에 적응할 수 있는 능력을 부여한다.
• 이미지 토큰 간의 동적이고 콘텐츠 인식형 정보 융합을 통해 비전 인식의 표현 능력을 향상시킨다.
• 혼합 과정에서 차원 축소와 다중 세그먼트 융합을 통해 계산 비용을 줄이고 강건성을 향상시킨다.
• 추가 학습 데이터 없이도 ImageNet-1K에서 MLP 유사 모델 중 최고 성능을 달성한다.
• 제거 실험과 하류 작업에서의 전이 학습을 통해 동적 혼합의 효과성을 검증한다.

제안 방법

• DynaMixer는 혼합 대상 모든 토큰의 특징을 활용하는 콘텐츠 인식 메커니즘을 통해 동적으로 혼합 행렬을 생성한다.
• 선형 투영 레이어를 통해 입력 특징 차원을 축소하여 계산 비용을 낮추며, 실험 결과 d=1일 때도 효과적임을 확인했다.
• 토큰 혼합은 행 방향과 열 방향으로 별도로 수행되며, 각 세그먼트는 독립적으로 처리되어 강건성이 향상된다.
• 최종 표현은 행 혼합, 열 혼합, 채널 혼합 구성 요소의 가중치 합으로 이루어지며, 융합을 위한 학습 가능한 재가중치가 적용된다.
• 동적 혼합 중 강건성과 효율성을 향상시키기 위해 다중 세그먼트 융합 메커니즘을 도입한다.
• 행 혼합과 열 혼합 연산 간의 파라미터 공유를 탐색하여 모델 크기를 줄이고 정확도 저하를 최소화한다.

실험 결과

연구 질문

• RQ1 입력 콘텐츠에 적응하는 동적 혼합 행렬이 MLP 기반 비전 모델의 성능 향상에 기여하는가?
• RQ2 혼합 메커니즘에서 특징 차원을 얼마나 낮출 수 있는가? 성능 저하 없이 가능한가?
• RQ3 다중 세그먼트 융합이 토큰 혼합의 강건성과 효율성에 기여하는가?
• RQ4 정확도와 파라미터 효율성 측면에서 DynaMixer는 최신의 MLP 기반 모델과 비교해 어떻게 성능을 내는가?
• RQ5 각 구성 요소(행 혼합, 열 혼합, 채널 혼합, 재가중치)가 최종 성능에 기여하는 정도는 어떠한가?

주요 결과

• DynaMixer는 97M 파라미터로 ImageNet-1K에서 84.3%의 top-1 정확도를 달성하여, MLP 기반 모델 중 최고 성능을 기록했다.
• 26M 파라미터로도 DynaMixer는 82.7%의 top-1 정확도를 기록하여 유사 크기의 다른 MLP 유사 모델을 능가했다.
• 특징 차원을 d=1로 줄여도 82.4%의 top-1 정확도를 유지하여, 저차원 투영이 효과적인 혼합을 위해 충분한 정보를 유지함을 입증했다.
• 제거 실험 결과, 행 혼합, 열 혼합, 채널 혼합, 재가중치 모두가 필수적임을 확인했으며, 하나라도 제거하면 성능이 크게 떨어졌다.
• 행 혼합과 열 혼합 간의 파라미터 공유로 모델 크기를 23M 파라미터로 줄였고, 정확도는 0.5%만 감소시켜 강력한 성능 유지가 가능했다.
• 하류 CIFAR-10 및 CIFAR-100 데이터셋에서 DynaMixer-S는 각각 98.2%와 88.6%의 top-1 정확도를 기록하여 유사 크기의 ViP 및 ViT를 능가했다.