[논문 리뷰] MorphMLP: A Self-Attention Free, MLP-Like Backbone for Image and Video

David Junhao Zhang, Kunchang Li외 6명|arXiv (Cornell University)|2021. 11. 24.

Advanced Neural Network Applications참고 문헌 72인용 수 8

한 줄 요약

MorphMLP는 자기주의 주의을 포함하지 않는, MLP 유사 백본으로서 초기 레이어에서 국소적 특징 학습을 향상시키고, 더 깊은 레이어로 갈수록 장거리 모델링으로 점진적으로 전환하는 새로운 형태의 변형 가능 필터를 갖춘 MorphFC 레이어를 사용한다. 이는 이미지 및 비디오 작업에서 자기주의 주의 기반 모델과 비견되거나 그 이상의 성능을 달성한다.

ABSTRACT

Self-attention has become an integral component of the recent network architectures, e.g., Transformer, that dominate major image and video benchmarks. This is because self-attention can flexibly model long-range information. For the same reason, researchers make attempts recently to revive Multiple Layer Perceptron (MLP) and propose a few MLP-Like architectures, showing great potential. However, the current MLP-Like architectures are not good at capturing local details and lack progressive understanding of core details in the images and/or videos. To overcome this issue, we propose a novel MorphMLP architecture that focuses on capturing local details at the low-level layers, while gradually changing to focus on long-term modeling at the high-level layers. Specifically, we design a Fully-Connected-Like layer, dubbed as MorphFC, of two morphable filters that gradually grow its receptive field along the height and width dimension. More interestingly, we propose to flexibly adapt our MorphFC layer in the video domain. To our best knowledge, we are the first to create a MLP-Like backbone for learning video representation. Finally, we conduct extensive experiments on image classification, semantic segmentation and video classification. Our MorphMLP, such a self-attention free backbone, can be as powerful as and even outperform self-attention based models.

연구 동기 및 목표

• 기존의 MLP 유사 아키텍처가 국소 세부 사항을 포착하는 데에 한계가 있음을 해결하기 위해.
• 자기주의 주의을 포함하지 않는 백본을 설계하여 이미지 및 비디오에서 국소적 및 장거리 의존성을 효과적으로 모델링하기 위해.
• 공간 차원을 따라 수용영역이 점진적으로 증가하는 변형 가능 필터를 갖춘 새로운 완전 연결 유사 레이어(MorphFC)를 제안하기 위해.
• MorphMLP 아키텍처를 비디오 표현 학습으로 확장하여, 비디오에 대한 첫 번째 MLP 유사 백본이 되게 하기 위해.
• 이미지 및 비디오 벤치마크에서 자기주의 주의 기반 모델과 경쟁하거나 그 이상의 성능을 달성하기 위해.

제안 방법

• 네트워크 깊이에 따라 높이 및 너비 차원을 따라 수용영역이 동적으로 확장되는 두 개의 변형 가능 필터를 갖춘 MorphFC 레이어를 도입하기 위해.
• 초기 레이어에서는 국소적 특징 추출을 우선시하고 더 깊은 레이어로 갈수록 장거리 모델링으로 전환하도록 MorphFC 레이어를 설계하기 위해.
• 공간 모딩을 시간 차원으로 확장하여 비디오 도메인에서 MorphFC 레이어의 탄력적인 적응을 가능하게 하기 위해.
• 자기주의 주의 메커니즘을 사용하지 않고 스택된 MorphFC 레이어를 사용하여 완전한 MorphMLP 아키텍처를 구성하기 위해.
• 이미지 및 비디오 분류, 세그멘테이션, 기타 벤치마크에서 MorphMLP를 엔드 투 엔드로 훈련하기 위해.
• 비디오 작업에서 표현 능력을 유지하기 위해 공간적 및 시간적 특징 융합 전략을 사용하기 위해.

실험 결과

연구 질문

• RQ1 MLP 유사 아키텍처는 초기 레이어에서 국소 세부 사항을 효과적으로 포착하면서도 더 깊은 레이어로 갈수록 점차 장거리 의존성을 모델링할 수 있는가?
• RQ2 자기주의 주의를 포함하지 않는 MorphMLP 백본은 이미지 및 비디오 이해에서 주로 자기주의 주의 기반 모델과 비교해 성능가 어떻게 되는가?
• RQ3 MorphFC 레이어는 비디오 표현 학습에 대해 탄력적으로 적응할 수 있으며, 공간-시간 모델링 전반에서 뛰어난 성능을 유지하는가?
• RQ4 MorphFC의 변형 가능 필터 메커니즘은 표준 MLP 또는 완전 연결 레이어보다 더 나은 특징 학습을 가능하게 하는가?
• RQ5 MorphMLP는 자기주의 주의를 사용하지 않고도 이미지 및 비디오 벤치마크에서 최고 수준 또는 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• MorphMLP는 이미지 분류 벤치마크에서 자기주의 주의 기반 모델과 비견되거나 그 이상의 성능을 달성한다.
• 세그멘테이션 작업에서 뛰어난 성능을 보이며, 효과적인 국소 및 전역 특징 학습 능력을 입증한다.
• 비디오 분류 작업에서 경쟁 가능한 결과를 달성하여, 비디오 표현에 대한 첫 번째 MLP 유사 백본임을 입증한다.
• MorphFC 레이어는 초기 레이어에서 국소 세부 사항을 효과적으로 포착하고 더 깊은 레이어로 갈수록 장거리 모델링으로 전환한다.
• 비디오 도메인에서 MorphFC의 탄력적인 적응은 자기주의 주의 없이도 효과적인 공간-시간 특징 학습을 가능하게 한다.
• 광범위한 추상화 분석을 통해 변형 가능 필터 설계와 점진적 모델링 전략의 효과성을 확인한다.