[논문 리뷰] EPNet: Enhancing Point Features with Image Semantics for 3D Object Detection

Tengteng Huang, Zhe Liu외 2명|arXiv (Cornell University)|2020. 07. 17.

Advanced Neural Network Applications참고 문헌 41인용 수 27

한 줄 요약

EPNet는 LiDAR 지오메트리 기반 이미지 융합(LI-Fusion) 모듈을 통해 카메라 이미지의 의미 정보를 LiDAR 포인트 특징에 통합함으로써 3차원 객체 검출 성능을 향상시키는 새로운 프레임워크를 제안한다. 이는 애너테이션 없이 포인트 단위로 이미지 특징을 융합할 수 있도록 한다. 또한 분류 및 위치 지정 신뢰도 간 일관성을 강화하기 위한 손실 함수(CE 손실)를 도입하여 KITTI 및 SUN-RGBD 벤치마크에서 최신 기준 성능을 달성한다.

ABSTRACT

In this paper, we aim at addressing two critical issues in the 3D detection task, including the exploitation of multiple sensors~(namely LiDAR point cloud and camera image), as well as the inconsistency between the localization and classification confidence. To this end, we propose a novel fusion module to enhance the point features with semantic image features in a point-wise manner without any image annotations. Besides, a consistency enforcing loss is employed to explicitly encourage the consistency of both the localization and classification confidence. We design an end-to-end learnable framework named EPNet to integrate these two components. Extensive experiments on the KITTI and SUN-RGBD datasets demonstrate the superiority of EPNet over the state-of-the-art methods. Codes and models are available at: \url{https://github.com/happinesslz/EPNet}.

연구 동기 및 목표

• 2D 바운딩 박스 애너테이션에 의존하지 않고 LiDAR 포인트 클라우드와 카메라 이미지를 융합하는 데 도전한다.
• 정보 손실과 해상도가 낮은 특징 정렬 문제를 겪는 BEV 기반 융합 방법의 한계를 극복한다.
• 다중 센서 융합 과정에서 노이즈 또는 관련성이 없는 이미지 특징이 초래하는 간섭을 줄인다.
• 3차원 검출에서 분류 신뢰도와 위치 지정 신뢰도 간의 일관성 부족이 NMS 성능을 떨어뜨리는 문제를 해결한다.
• 특징 융합과 신뢰도 일관성 최적화를 동시에 수행하는 엔드 투 엔드로 학습 가능한 프레임워크를 개발한다.

제안 방법

• 공간적 및 기하학적 정렬을 통해 LiDAR 포인트와 이미지 특징 간 미세한 포인트 단위의 대응 관계를 수립하는 LiDAR 유도형 이미지 융합(LI-Fusion) 모듈을 제안한다.
• 각 LiDAR 포인트에 대해 관련성이 높은 이미지 의미 특징을 적응적으로 가중함으로써, 애너테이션 없이도 관련 없는 특징이나 간섭 요소를 억제한다.
• 학습 과정에서 분류 신뢰도와 위치 지정 신뢰도(IoU) 간의 일관성을 명시적으로 강화하는 일관성 강화 손실(CE 손실)을 도입한다.
• CE 손실은 파라미터가 없으며 아키텍처 변경이 필요 없어 기존 3차원 검출 네트워크에 쉽게 통합할 수 있다.
• LI-Fusion와 CE 손실을 통합한 엔드 투 엔드로 학습 가능한 프레임워크인 EPNet를 구축하여 특징 강화와 신뢰도 일관성 최적화를 동시에 수행한다.
• 융합 이전에 LiDAR 및 이미지 특징을 별도로 처리하기 위해 이중 스트림 RPN을 사용하고, 최종 검출을 위해 정밀화 네트워크를 적용한다.

실험 결과

연구 질문

• RQ1 LiDAR 특징과 이미지 의미 정보를 애너테이션 없이 포인트 단위로 융합하면 3차원 객체 검출 정확도가 향상되는가?
• RQ2 3차원 검출에서 다중 센서 융합 과정에서 관련 없거나 노이즈가 많은 이미지 특징의 간섭은 어떻게 억제할 수 있는가?
• RQ3 분류 신뢰도와 위치 지정 신뢰도 간의 불일치가 검출 성능에 얼마나 큰 영향을 미치며, 이를 명시적으로 보완할 수 있는가?
• RQ4 아키텍처 수정 없이도 일관성 강화 손실이 NMS 성능 향상에 기여할 수 있는가?
• RQ5 제안된 EPNet 프레임워크는 외부 환경(KITTI)과 실내 환경(SUN-RGBD)을 포함한 다양한 시나리오에 일반화되는가?

주요 결과

• EPNet는 Waymo 스타일 분할 기준으로 KITTI 데이터셋에서 최신 기준 성능을 달성하며, 3D mAP가 89.68%에 이른다.
• KITTI 검증 세트에서 EPNet는 쉬운 샘플에 대해 89.81%의 mAP, 중간 수준의 샘플에 대해 79.28%, 어려운 샘플에 대해 74.59%의 mAP를 기록하여 이전 최고 성능 기준을 초월한다.
• SUN-RGBD 데이터셋에서 EPNet는 3D mAP 59.8%를 달성하여, PointFusion보다 15.7%, COG보다 12.2%, F-PointNet보다 5.8%, VoteNet보다 2.1% 높은 성능을 보였다.
• 절단 분석 결과, LI-Fusion 모듈과 CE 손실 모두 성능 향상에 기여하며, 특히 CE 손실이 KITTI에서 mAP를 최대 2.5% 향상시킨다.
• 정성적 결과 분석에서 EPNet는 특히 유사한 기하학적 구조를 가진 장면(예: 서로 가까이 놓인 의자)에서 더 정확하고 일관성 있는 바운딩 박스를 생성함을 확인했다.
• 이 방법은 가림되거나 무늬가 없는 영역에서는 이미지 특징의 간섭을 효과적으로 억제하면서도, 색상이 뚜렷한 물체와 같은 구분 가능한 영역에서는 특징을 강화함을 입증했다.