[논문 리뷰] MLCVNet: Multi-Level Context VoteNet for 3D Object Detection

Qian Xie, Yu‐Kun Lai외 5명|arXiv (Cornell University)|2020. 04. 12.

Advanced Neural Network Applications참고 문헌 50인용 수 28

한 줄 요약

이 논문은 VoteNet을 개선하기 위해 자기주의(self-attention)와 다중 스케일 특징 융합을 통해 다중 수준의 맥락 정보를 통합함으로써 3D 객체 검출 성능을 향상시키는 새로운 3D 객체 검출 프레임워크인 MLCVNet을 제안한다. Patch-to-Patch Context (PPC), Object-to-Object Context (OOC), Global Scene Context (GSC)의 세 가지 맥락 모듈을 도입하여 패치, 객체, 시점 수준의 관계를 모델링하며, SUN RGB-D 및 ScanNet에서 기존 SoTA 방법인 VoteNet 대비 5.9%의 절대 mAP@0.25 향상을 달성하여 최신 기술 수준을 확립한다.

ABSTRACT

In this paper, we address the 3D object detection task by capturing multi-level contextual information with the self-attention mechanism and multi-scale feature fusion. Most existing 3D object detection methods recognize objects individually, without giving any consideration on contextual information between these objects. Comparatively, we propose Multi-Level Context VoteNet (MLCVNet) to recognize 3D objects correlatively, building on the state-of-the-art VoteNet. We introduce three context modules into the voting and classifying stages of VoteNet to encode contextual information at different levels. Specifically, a Patch-to-Patch Context (PPC) module is employed to capture contextual information between the point patches, before voting for their corresponding object centroid points. Subsequently, an Object-to-Object Context (OOC) module is incorporated before the proposal and classification stage, to capture the contextual information between object candidates. Finally, a Global Scene Context (GSC) module is designed to learn the global scene context. We demonstrate these by capturing contextual information at patch, object and scene levels. Our method is an effective way to promote detection accuracy, achieving new state-of-the-art detection performance on challenging 3D object detection datasets, i.e., SUN RGBD and ScanNet. We also release our code at https://github.com/NUAAXQ/MLCVNet.

연구 동기 및 목표

• 기존 3D 객체 검출기가 점프치와 객체를 독립적으로 다루며 맥락적 관계를 忽略하는 한계를 해결하기 위해.
• 점프치 데이터가 불완전하거나 모호한 노이즈가 많은, 부분적으로 가려진 실내 환경에서의 검출 정확도를 향상시키기 위해.
• 패치, 객체, 시점 수준의 세 가지 수준에서 맥락 정보를 3D 검출 파이프라인에 통합하기 위해.
• 다중 수준 맥락 모델링이 평면형 또는 가려진 객체에 대해 특히 검출의 강건성과 정밀도를 향상시킬 수 있음을 입증하기 위해.
• SUN RGB-D 및 ScanNet과 같은 벤치마크 데이터셋에서 새로운 최신 기술 수준의 성능을 확립하기 위해.

제안 방법

• 객체 중심을 투표하기 전에 인접한 점 패치 간의 맥락적 특징을 집계하기 위해 자기주의를 사용하는 Patch-to-Patch Context (PPC) 모듈을 도입한다.
• 객체 후보 제안 간의 관계를 자기주의를 통해 모델링하여 검출 신뢰도와 경계 상자 추정을 개선하는 Object-to-Object Context (OOC) 모듈을 활용한다.
• 전역 특징 집합과 자기주의를 사용하여 장거리 의존성과 시점 수준의 의미를 포착하는 Global Scene Context (GSC) 모듈을 설계한다.
• 다양한 스테이지에서의 다중 스케일 특징 융합을 통해 각 수준에서의 특징 표현과 맥락 모델링을 향상시킨다.
• 세 가지 맥락 모듈을 VoteNet 아키텍처에 통합하여, 종래의 엔드 투 엔드 학습 파라다임을 유지하면서도 맥락적 단서를 특징 학습에 풍부하게 한다.
• 모든 모듈에서 자기주의 기반 메커니즘을 활용하여 특징 유사성에 따라 관련 맥락 정보의 중요도를 동적으로 가중한다.

실험 결과

연구 질문

• RQ1 패치 수준, 객체 수준, 시점 수준의 다중 수준 맥락 정보를 모델링하면 점프치에서의 3D 객체 검출 정확도가 향상되는가?
• RQ2 자기주의 기반 맥락 모델링을 도입할 경우, 가려짐과 노이즈가 많은 어려운 실내 데이터셋에서 검출 성능에 어떤 영향을 미치는가?
• RQ3 패치 수준, 객체 수준, 시점 수준의 맥락이 각각 및 종합적으로 검출 성능 향상에 얼마나 기여하는가?
• RQ4 맥락 모델링이 모호하거나 혼잡한 환경에서의 잘못된 양성 결과를 줄이고 일반화 능력을 향상시키는가?
• RQ5 전역 시점 맥락의 통합이 침대를 주방에 잘못 배치하는 등의 잘못된 검출을 방지하는 데 기여하는가?

주요 결과

• MLCVNet은 ScanNet 검증 세트에서 mAP@0.25가 64.5%를 기록하여 이전 SoTA 방법인 VoteNet 대비 5.9%의 절대 향상을 달성했다.
• 동일한 데이터셋에서 mAP@0.50는 78.1%에 도달하여 VoteNet 대비 7.9% 향상되었으며, 이는 더 높은 국소화 정확도를 의미한다.
• PPC 모듈만으로도 mAP@0.25가 0.8점 향상되었고, OOC 모듈이 추가로 2.6점 향상시켜 각 구성 요소에서 점진적인 성능 향상을 입증했다.
• 특히 도어, 창문, 그림, 샤워 커튼과 같은 평면형 객체에서 가장 큰 성능 향상이 관찰되었으며, 일부 사례에서는 8점 이상의 향상이 이루어졌다.
• 정성적 결과 분석에서 MLCVNet은 VoteNet 대비 겹치는 또는 잘못 분류된 경계 상자를 더 적게 생성하고, 가려진 환경에서도 더 우수한 일반화 능력을 보였다.
• 제거 실험(ablation study) 결과, 세 가지 맥락 모듈을 모두 통합할 경우 최고의 성능가를 기록하여 다중 수준 맥락 모델링의 상호 보완적 성격을 입증했다.