[논문 리뷰] R2-MLP: Round-Roll MLP for Multi-View 3D Object Recognition

Shuo Chen, Tan Yu외 1명|arXiv (Cornell University)|2022. 11. 20.

Brain Tumor Detection and Classification인용 수 4

한 줄 요약

이 논문은 다중 시야 3D 객체 인식을 위한 새로운 MLP 기반 아키텍처인 R2-MLP를 제안한다. 이는 뷰 차원을 따라 채널을 이동시키는 방식으로 시야 간 특징 통신을 가능하게 하는 라운드롤(R²) 모듈을 도입한다. 뷰 내부에서는 공간 이동 연산을 적용하고, 뷰 간에는 라운드롤 이동을 통해 특징 통신을 유도함으로써, CNN 기반 모델보다 낮은 FLOPs와 더 빠른 추론 속도를 기록하면서도 ModelNet10(99.6% 정확도)과 ModelNet40(97.7% 정확도)에서 최신 기술 성능을 달성한다.

ABSTRACT

Recently, vision architectures based exclusively on multi-layer perceptrons (MLPs) have gained much attention in the computer vision community. MLP-like models achieve competitive performance on a single 2D image classification with less inductive bias without hand-crafted convolution layers. In this work, we explore the effectiveness of MLP-based architecture for the view-based 3D object recognition task. We present an MLP-based architecture termed as Round-Roll MLP (R$^2$-MLP). It extends the spatial-shift MLP backbone by considering the communications between patches from different views. R$^2$-MLP rolls part of the channels along the view dimension and promotes information exchange between neighboring views. We benchmark MLP results on ModelNet10 and ModelNet40 datasets with ablations in various aspects. The experimental results show that, with a conceptually simple structure, our R$^2$-MLP achieves competitive performance compared with existing state-of-the-art methods.

연구 동기 및 목표

• 다중 시야 3D 객체 인식 과정에서 기존의 MLP 기반 모델이 시야 간 의존성을 효과적으로 포착하지 못하는 한계를 해결하기 위해.
• 주의 또는 컨볼루션에 의존하지 않고도 효율적이고 파rameter-free인 시야 간 특징 통신 메커니즘을 설계하기 위해.
• 순수한 MLP 아키텍처를 사용하여 표준 벤치마크(ModelNet10 및 ModelNet40)에서 최신 기술 성능을 달성하기 위해.

제안 방법

• R2-MLP 아키텍처는 시야 차원을 따라 일부 특징 채널을 순환적으로 이동시키는 라운드롤(R²) 모듈을 사용하여 인접한 시야 간 정보 교환을 가능하게 한다.
• 각 시야 내부에서는 너비 및 높이 차원을 따라 공간 이동 연산을 적용하여 내부 시야 특징 통신을 촉진한다.
• R² 모듈은 하나의 계산 비용이 들지 않는 구성 요소로서 내부 시야 및 외부 시야 특징 상호작용을 통합하여 추가 파라미터나 FLOPs 없이 구현된다.
• 모델은 학습 가능한 선형 투영과 위치 인코딩을 사용하여 다중 시야 특징을 처리하는 표준 MLP 백본을 사용한다.
• 라운드롤 연산은 순환 이동 방식으로 구현되며, 예를 들어 view 1 → view 2 → view 3 → view 1의 순환 구조를 취함으로써 인접한 시야가 특징을 공유할 수 있다.
• 아키텍처는 3D 분류를 위해 엔드 투 엔드로 훈련되며, 표준 벤치마크를 사용하여 분류 및 검색 작업 모두에 대해 평가된다.

실험 결과

연구 질문

• RQ1 순수한 MLP 아키텍처가 다중 시야 3D 객체 인식에서 시야 간 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 라운드롤 특징 이동 메커니즘이 주의나 컨볼루션과 비교해 시야 간 통신을 어떻게 향상시키는가?
• RQ3 라운드롤과 같은 계산 비용 없고 파라미터 없는 연산이 FLOPs와 추론 시간을 줄이며 경쟁적인 성능을 달성할 수 있는가?
• RQ4 제안된 R2-MLP가 표준 3D 인식 벤치마크에서 기존의 CNN 기반 및 주의 기반 방법을 능가하는가?
• RQ5 직접 검색 손실 최적화 없이도 R2-MLP가 3D 형태 검색 작업에 잘 일반화되는가?

주요 결과

• 20개의 시야를 사용한 ModelNet10에서 R2-MLP는 99.6%의 상위-1 정확도를 기록하여 CAR-Net을 포함한 모든 비교 모델을 능가한다.
• 20개의 시야를 사용한 ModelNet40에서 R2-MLP는 97.7%의 정확도를 기록하며, 최신 기술 성능을 보이는 CAR-Net과 동일한 성능을 달성하지만 더 적은 파라미터와 계산량을 사용한다.
• 단지 12개의 시야만으로도 ModelNet40에서 97.2%의 정확도를 기록하여 모든 방법 중 두 번째로 높은 성능를 보이며, 적은 시야로도 강력한 일반화 능력을 입증한다.
• ModelNet40의 3D 형태 검색 작업에서 R2-MLP는 12개 시야일 때 93.1%의 mAP, 20개 시야일 때도 93.1%의 mAP를 기록하여 이전 최신 기술인 MLVCNN(92.2% mAP)을 능가한다.
• V100 GPU를 사용할 때 R2-MLP는 ModelNet40에서 샘플당 0.07초의 추론 속도를 기록하여 CAR-Net(0.20초) 및 기타 CNN 기반 모델보다 훨씬 빠르다.
• R2-MLP는 CAR-Net과 같은 CNN 기반 모델보다 낮은 FLOPs와 파라미터 수를 가지며, 뛰어난 효율성을 입증한다.