[논문 리뷰] Multi-Modality Task Cascade for 3D Object Detection

Jinhyung Park, Xinshuo Weng외 2명|arXiv (Cornell University)|2021. 07. 08.

Advanced Neural Network Applications참고 문헌 36인용 수 5

한 줄 요약

이 논문은 2D 시맨틱 세그멘테이션 예측을 사용하여 3D 객체 제안을 반복적으로 개선하는 새로운 3D 객체 검출 프레임워크인 멀티모달리티 태스크 캐스케이드(MTC-RCNN)를 제안한다. 이 2D 시맨틱 세그멘테이션 예측은 3D 제안 특징에 의해 향상된다. 3D 박스 예측을 2D 네트워크에 융합하고, 과적합을 방지하기 위해 이중 헤드 2D 학습 방식을 사용함으로써, MTC-RCNN는 추가적인 2D 애너테이션 없이도 SUN RGB-D 데이터셋에서 최신 기술 수준(SoTA) 성능을 달성하여 mAP@0.5에서 이전 방법보다 +3.8 향상되었다.

ABSTRACT

Point clouds and RGB images are naturally complementary modalities for 3D visual understanding - the former provides sparse but accurate locations of points on objects, while the latter contains dense color and texture information. Despite this potential for close sensor fusion, many methods train two models in isolation and use simple feature concatenation to represent 3D sensor data. This separated training scheme results in potentially sub-optimal performance and prevents 3D tasks from being used to benefit 2D tasks that are often useful on their own. To provide a more integrated approach, we propose a novel Multi-Modality Task Cascade network (MTC-RCNN) that leverages 3D box proposals to improve 2D segmentation predictions, which are then used to further refine the 3D boxes. We show that including a 2D network between two stages of 3D modules significantly improves both 2D and 3D task performance. Moreover, to prevent the 3D module from over-relying on the overfitted 2D predictions, we propose a dual-head 2D segmentation training and inference scheme, allowing the 2nd 3D module to learn to interpret imperfect 2D segmentation predictions. Evaluating our model on the challenging SUN RGB-D dataset, we improve upon state-of-the-art results of both single modality and fusion networks by a large margin ($ extbf{+3.8}$ mAP@0.5). Code will be released $\href{https://github.com/Divadi/MTC_RCNN}{ ext{here.}}$

연구 동기 및 목표

• 2D 및 3D 특징을 한 방향으로 비상호작용적으로 융합하는 기존 다중 모odal 3D 검출 방법의 열악한 성능을 해결하기 위해.
• 2D RGB-D 이미지와 3D 포인트 클라우드 간의 상호 보완성을 활용하기 위해 2D 세그멘테이션과 3D 검출 간의 双방향 특징 정련을 가능하게 하기 위해.
• 학습 중 2D 네트워크의 과적합 문제를 해결하기 위해. 이는 3D 정련 성능을 지배하고 악화시킬 수 있다.
• 2D 및 3D 네트워크가 반복적 정련을 통해 공유되고 강력한 표현을 학습할 수 있도록 하는 공동 학습 프레임워크를 개발하기 위해.
• 추가적인 2D 애너테이션 없이도 SUN RGB-D 데이터셋에서 최신 기술 수준의 3D 검출 성능을 달성하기 위해.

제안 방법

• 3D 객체 검출 파이프라인의 두 단계 사이에 2D 시맨틱 세그멘테이션 네트워크를 삽입하는 멀티모달리티 태스크 캐스케이드(MTC-RCNN)를 도입한다.
• 클래스 예측과 박스 파라미터에서 유도된 3D 제안 특징을 2D 세그멘테이션 네트워크에 융합하여 2D 특징 학습을 풍부하게 한다.
• 2D 세그멘테이션 네트워크를 지도 학습하기 위해 진짜 3D 애너테이션을 사용하여 추가적인 2D 레이블이 필요 없도록 한다.
• 2단계에서 3D 제안을 정련하기 위해 포인트를 2D 세그멘테이션 예측으로 투영하고, 3D 기하학적 특징과 채널별 확률 분포를 연결한 후 PointNet을 통해 처리한다.
• 이중 헤드 2D 세그멘테이션 학습 방식을 사용한다: 강력한 메인 헤드와 약한 보조 헤드이며, 보조 헤드를 학습 중에 사용하여 3D 네트워크가 완벽한 2D 예측에 과도하게 의존하지 않도록 한다.
• 추론 중에는 메인 및 보조 2D 헤드의 예측을 앙상블하여 정확도와 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 3D 제안 특징을 2D 세그멘테이션 네트워크에 융합하면 2D 세그멘테이션 품질이 크게 향상되고, 이로 인해 3D 객체 검출 성능이 향상되는가?
• RQ2 2D 세그멘테이션과 3D 검출 간의 반복적이고 이중 방향 캐스케이드는 단방향 융합보다 더 나은 성능을 낼 수 있는가?
• RQ3 이중 헤드 2D 학습 전략은 2D 네트워크의 과적합을 완화하고 3D 정련 단계의 일반화 성능을 향상시킬 수 있는가?
• RQ4 PointPainting과 같은 기존 3D 검출 프레임워크에 MTC-RCNN를 통합하면 성능에 어떤 영향을 미치는가?
• RQ5 2D mIoU와 3D mAP 간의 상관관계는 어느 정도이며, 3D 제안 당 포인트 수는 이 관계에 어떤 영향을 미치는가?

주요 결과

• MTC-RCNN는 SUN RGB-D 데이터셋에서 최신 기술 수준(SoTA) 성능을 달성하여 mAP@0.5에서 이전 방법보다 +3.8 향상되었다.
• 2D 지도 학습과 2D 예측(원시 특징이 아닌)을 통한 2D-3D 융합은 3D-only 기준 대비 3D mAP를 +3.0 향상시켰다.
• 학습 중 약한 보조 2D 헤드를 사용함으로써 학습 및 테스트 mIoU 간 격차가 줄었고, 이는 3D 검출에서 mAP를 +1.5 향상시켰다.
• 추론 중 메인 및 보조 2D 헤드의 예측을 앙상블하면 3D mAP가 31.80으로 향상되었고, 2D mIoU는 52.91에 도달했다.
• 3D 제안 당 포인트 수는 성능에 영향을 미친다: 포인트 수를 512에서 2048로 늘리면 3D mAP는 31.09에서 31.46으로 향상되었지만, 2D mIoU는 1024 포인트에서 최고치를 기록했다.
• 3D 제안 특징을 2D 네트워크에 융합하면 2D mIoU는 46.05에서 51.03으로, 3D mAP는 31.05에서 31.46으로 상승하여 3D에서 2D로의 특징 융합의 효과를 확인했다.