[논문 리뷰] 3D Object Detection with Pointformer

Xuran Pan, Zhuofan Xia외 3명|arXiv (Cornell University)|2020. 12. 21.

3D Shape Modeling and Analysis참고 문헌 44인용 수 9

한 줄 요약

이 논문은 3D 객체 검출을 위한 PointNet 기반의 백본으로서 Pointformer를 제안한다. Pointformer는 국소, 전역, 국소-전역 주의 메커니즘을 활용하여 맥락 인식이 가능하고 순열에 불변인 특징을 학습한다. 좌표 보정 모듈과 다중 해상도 특징 융합을 통합함으로써, VoteNet, PointRCNN, CBGS와 같은 최신 검출기의 플러그인 백본으로 사용할 경우 실내 및 실외 벤치마크에서 검출 정확도가 크게 향상된다.

ABSTRACT

Feature learning for 3D object detection from point clouds is very challenging due to the irregularity of 3D point cloud data. In this paper, we propose Pointformer, a Transformer backbone designed for 3D point clouds to learn features effectively. Specifically, a Local Transformer module is employed to model interactions among points in a local region, which learns context-dependent region features at an object level. A Global Transformer is designed to learn context-aware representations at the scene level. To further capture the dependencies among multi-scale representations, we propose Local-Global Transformer to integrate local features with global features from higher resolution. In addition, we introduce an efficient coordinate refinement module to shift down-sampled points closer to object centroids, which improves object proposal generation. We use Pointformer as the backbone for state-of-the-art object detection models and demonstrate significant improvements over original models on both indoor and outdoor datasets.

연구 동기 및 목표

• 비정규적인 3D 포인트 클라우드 데이터에서 효과적인 특징 학습을 위한 도전 과제를 해결하기 위해.
• 바벨 기반 및 포인트 기반 방법의 한계를 극복하기 위해 국소 및 전역 맥락 인식 능력을 통합하기 위해.
• 3D 포인트 클라우드 처리에 특화된 순열에 불변이며 효율적인 트랜스포머 백본을 설계하기 위해.
• 새로운 좌표 보정 모듈을 통해 객체 제안 품질을 향상시키기 위해.
• 다양한 실내 및 실외 3D 검출 벤치마크에서 일관된 성능 향상을 입증하기 위해.

제안 방법

• 지역 영역 내 포인트 상호작용을 모델링하기 위해 국소 트랜스포머(LT) 모듈을 도입하여 객체 수준의 맥락을 포착한다.
• 전체 포인트 클라우드 전역에서 시나리오 수준의 맥락 인식 표현을 학습하기 위해 전역 트랜스포머(GT) 모듈을 활용한다.
• 고해상도 국소 특징과 고해상도 특징에서 유도된 전역 맥락을 융합하기 위해 국소-전역 트랜스포머(LGT) 모듈을 제안한다.
• 다운샘플링된 포인트를 객체 중심으로 재배치함으로써 제안 품질을 향상시키는 좌표 보정 모듈을 통합한다.
• 다중 해상도 Pointformer 블록을 사용한 U-Net 유사 아키텍처를 도입하여 계층적 특징 학습을 가능하게 한다.
• 이미 존재하는 3D 검출기(VoteNet, PointRCNN, CBGS 등)에 아키텍처 변경 없이 플러그인 방식으로 백본을 통합한다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 백본은 비정규적인 3D 포인트 클라우드에서 객체 검출을 위한 맥락 인식 특징을 효과적으로 학습할 수 있는가?
• RQ2 국소, 전역, 국소-전역 주의 메커니즘이 혼잡한 환경에서 특징 표현 향상에 어떻게 기여하는가?
• RQ3 샘플링된 포인트의 좌표 보정이 3D 검출에서 객체 제안 생성에 얼마나 기여하는가?
• RQ4 제안된 Pointformer 백본은 실내 및 실외 데이터셋을 포함한 다양한 3D 검출 벤치마크에서 일반화 가능한가?
• RQ5 위치 인코딩의 통합이 포인트 클라우드 데이터에서 트랜스포머 기반 백본의 성능에 어떻게 영향을 미치는가?

주요 결과

• PointRCNN의 기준 모델을 교체할 경우, 어려운 객체에 대해 0.6 mAP 향상이 이루어져 국소 특징 학습 능력이 뛰어나다는 것을 입증한다.
• 전역 트랜스포머는 어려운 객체에서 0.9 mAP 향상을 기록하여 장거리 의존성의 포착이 효과적이라는 것을 시사한다.
• 국소-전역 트랜스포머와 좌표 보정 모듈은 모든 난이도 수준에서 일관된 mAP 향상을 보이며, 어려운 및 쉬운 카테고리 모두에서 개선 효과를 확인할 수 있다.
• 제거 실험 결과, 위치 인코딩이 필수적임을 확인하였으며, 이를 생략할 경우 성능 저하가 심각하게 발생함으로써 기하학적 구조 유지에 기여하는 역할을 한다는 점을 입증한다.
• 정성적 주의 시각화 결과, Pointformer가 먼저 국소 객체 부위에 주의를 기울이고, 그 다음 동일 객체의 다른 영역으로 확장한 후, 마지막으로 다른 객체들 전역으로 확산되는 다단계 메시지 전달 과정을 확인할 수 있다.
• SUN RGB-D 데이터셋에서 VoteNet과 함께 사용할 경우, 일부가 손상되거나 혼잡한 환경에서의 객체(예: 누락된 옷장 또는 혼잡한 테이블)에 대해서도 견고한 검출 성능을 보이며 일반화 및 견고성을 입증한다.