[논문 리뷰] simCrossTrans: A Simple Cross-Modality Transfer Learning for Object Detection with ConvNets or Vision Transformers

Xiaoke Shen, Ioannis Stamos|arXiv (Cornell University)|2022. 03. 20.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 3D 포인트 클라우드에서 유도된 가짜 이미지에 대해 사전 훈련된 2D 모델(ConvNets 또는 비전 트랜스포머)을 미세조정하는 간단한 크로스모달 전이 학습 방법인 simCrossTrans를 제안한다. ViT를 사용할 경우 기준 모델 대비 16.1% mAP50 향상을 달성하며, 이는 이전 최고 성능(SOTA)보다 15.4% 높고, RGB-only SOTA와는 단지 1%의 격차만을 보인다.

ABSTRACT

Transfer learning is widely used in computer vision (CV), natural language processing (NLP) and achieves great success. Most transfer learning systems are based on the same modality (e.g. RGB image in CV and text in NLP). However, the cross-modality transfer learning (CMTL) systems are scarce. In this work, we study CMTL from 2D to 3D sensor to explore the upper bound performance of 3D sensor only systems, which play critical roles in robotic navigation and perform well in low light scenarios. While most CMTL pipelines from 2D to 3D vision are complicated and based on Convolutional Neural Networks (ConvNets), ours is easy to implement, expand and based on both ConvNets and Vision transformers(ViTs): 1) By converting point clouds to pseudo-images, we can use an almost identical network from pre-trained models based on 2D images. This makes our system easy to implement and expand. 2) Recently ViTs have been showing good performance and robustness to occlusions, one of the key reasons for poor performance of 3D vision systems. We explored both ViT and ConvNet with similar model sizes to investigate the performance difference. We name our approach simCrossTrans: simple cross-modality transfer learning with ConvNets or ViTs. Experiments on SUN RGB-D dataset show: with simCrossTrans we achieve $13.2\%$ and $16.1\%$ absolute performance gain based on ConvNets and ViTs separately. We also observed the ViTs based performs $9.7\%$ better than the ConvNets one, showing the power of simCrossTrans with ViT. simCrossTrans with ViTs surpasses the previous state-of-the-art (SOTA) by a large margin of $+15.4\%$ mAP50. Compared with the previous 2D detection SOTA based RGB images, our depth image only system only has a $1\%$ gap. The code, training/inference logs and models are publicly available at https://github.com/liketheflower/simCrossTrans

연구 동기 및 목표

• 저조도 또는 프라이버시 제약 환경에서 3D 센서 전용 객체 검출 시스템의 성능 상한선을 탐색하기 위해.
• 2D RGB 이미지와 3D 포인트 클라우드 간의 모달리티 갭을 전이 학습을 통해 해소하여 객체 검출 정확도를 향상시키기 위해.
• 비전 트랜스포머(ViTs)가 깊이 기반 객체 검출을 위한 크로스모달 전이 학습에서 컨볼루션 네트워크(ConvNets)보다 우월한 성능을 보이는지 평가하기 위해.
• 기존 2D 사전 훈련 모델을 아키텍처 변경 없이 재사용할 수 있는 단순하고 확장성 있고 모듈화된 프레임워크를 개발하기 위해.

제안 방법

• 3D 포인트 클라우드를 투영 기반 변환을 통해 가짜 2D 이미지로 변환하여 2D 사전 훈련 모델과의 호환성을 확보한다.
• 2D 비전에서 사용된 동일한 훈련 파이프라인을 사용하여 사전 훈련된 2D 모델(ResNet-50 및 Swin-T)을 가짜 2D 깊이 이미지에 대해 미세조정한다.
• 컨볼루션 네트워크와 비전 트랜스포머 백본 모두에 동일한 모델 아키텍처와 하이퍼파라미터를 적용하여 공정한 비교를 확보한다.
• 미세조정된 백본 위에 표준 객체 검출 헤드를 적용하여 깊이 전용 데이터에 대한 추론을 수행한다.
• 2D ImageNet 스타일 사전 훈련에서 학습된 문맥적 및 공간적 사전 지식을 활용하여 3D 전용 검출에서의 특징 표현을 향상시킨다.
• 특징 시각화 및 히스토GRAM 분석을 통해 크로스모달 미세조정 후 컨볼루션 네트워크와 비전 트랜스포머의 내부 표현을 비교한다.

실험 결과

연구 질문

• RQ1 2D RGB 이미지에서 3D 깊이 이미지로의 크로스모달 전이 학습이 깊이 전용 시스템에서 객체 검출 성능을 크게 향상시킬 수 있는가?
• RQ2 3D 객체 검출에서 크로스모달 전이 학습에 적용했을 때 비전 트랜스포머의 성능가 컨볼루션 네트워크와 비교해 어떻게 되는가?
• RQ3 사전 훈련된 2D 모델이 가짜 이미지 변환과 미세조정을 통해 깊이 전용 데이터로 얼마나 잘 일반화되는가?
• RQ4 원천 모odal리티에서의 자기지도 학습 사전 훈련이 타겟 모달리티에서의 전이 성능을 추가로 향상시키는가?

주요 결과

• 백본으로 ResNet-50을 사용할 경우 simCrossTrans는 기준 모델 대비 13.2% 절대 mAP50 향상을 달성한다.
• Swin-T를 백본으로 사용할 경우 simCrossTrans는 기존 SOTA 대비 16.1% 절대 mAP50 향상을 달성하며, 이는 +15.4%의 높은 성능 향상이다.
• 동일한 훈련 설정 하에서 비전 트랜스포머가 컨볼루션 네트워크보다 mAP50 기준 9.7% 높은 성능을 보이며, 크로스모달 전이 학습에서의 우월성을 입증한다.
• 이 방법은 깊이 전용과 RGB 전용 검출 시스템 간의 성능 격차를 단지 1% mAP50로 줄여, 강력한 일반화 능력을 보여준다.
• 노트북, 키보드, 의자와 같은 어려운 카테고리가 simCrossTrans에서 가장 큰 이점을 얻었으며, 이는 2D 사전 훈련에서의 문맥적 사전 지식이 낮은 신호 환경에서 도움이 된다는 것을 시사한다.
• 특징 시각화 결과 비전 트랜스포머에서는 더 조밀하고 더 구조적인 특징 맵이 관찰되었고, 이는 어텐션 메커니즘을 통해 더 나은 특징 학습이 이루어졌음을 시사한다.