[논문 리뷰] Triangulation Learning Network: from Monocular to Stereo 3D Object Detection

Zengyi Qin, Jinglu Wang외 1명|arXiv (Cornell University)|2019. 06. 04.

Advanced Vision and Imaging참고 문헌 27인용 수 16

한 줄 요약

이 논문은 픽셀 수준의 깊이 맵에 의존하지 않고 스테레오 이미지 쌍을 활용하여 3D 앵커 기반 기하학적 대응 학습을 통해 단안 3D 객체 검출을 향상시키는 삼각측량 학습 네트워크(TLNet)를 제안한다. 이 방법은 KITTI 데이터셋에서 최신 기술 수준의 성능을 달성하며, 정보성 특징을 강화하고 노이즈를 억제하는 채널 재가중 전략을 통해 엄격한 거리 임계값 하에서 3D 정렬 정확도를 최대 10% 향상시킨다.

ABSTRACT

In this paper, we study the problem of 3D object detection from stereo images, in which the key challenge is how to effectively utilize stereo information. Different from previous methods using pixel-level depth maps, we propose employing 3D anchors to explicitly construct object-level correspondences between the regions of interest in stereo images, from which the deep neural network learns to detect and triangulate the targeted object in 3D space. We also introduce a cost-efficient channel reweighting strategy that enhances representational features and weakens noisy signals to facilitate the learning process. All of these are flexibly integrated into a solid baseline detector that uses monocular images. We demonstrate that both the monocular baseline and the stereo triangulation learning network outperform the prior state-of-the-arts in 3D object detection and localization on the challenging KITTI dataset.

연구 동기 및 목표

• 픽셀 수준의 깊이 맵이 필요 없이 스테레오 이미지 쌍을 효과적으로 활용하는 강력한 3D 객체 검출 프레임워크를 개발하는 것.
• 단안 이미지에서의 부족한 3D 정렬 문제를 해결하기 위해 스테레오 뷰 간 3D 앵커를 통한 기하학적 대응을 도입하는 것.
• 스테레오 3D 검출에서 특징 표현을 향상시키기 위해 가벼운 구조이면서도 파rameter-free인 채널 재가중 메커니즘을 설계하여 좌우 뷰 간 특징 일관성을 향상시키는 것.
• 기존 스테레오 기반 최신 기술 수준의 방법들을 능가하거나 이를 따라잡는 단안 기반 강력한 베이스라인을 수립하는 것.
• 명시적인 삼각측량 학습을 통해 3D 앵커 기반 기하학적 대응을 학습하면, 특히 엄격한 IoU 및 거리 임계값 하에서 더 정확하고 정밀한 3D 객체 정렬이 가능하다는 것을 입증하는 것.

제안 방법

• 이 방법은 3D 앵커를 사용해 좌우 스테레오 이미지 내에서 객체의 투영 영역 간의 대응 관계를 정의함으로써, 네트워크가 직접적으로 3D 객체 삼각측량을 학습할 수 있도록 한다.
• 새로운 채널 재가중 전략은 좌우 RoI 특징 채널 간의 쌍별 코사인 유사도를 계산하여 일관성을 측정하고, 정보성 있는 채널은 강화하고 노이즈가 많은 채널은 억제한다.
• 재가중 메커니즘은 특징 융합 이전에 적용되며, 파rameter-free이므로 추가적인 계산 비용이 거의 없으면서도 특징 품질을 향상시킨다.
• 스테레오 확장은 단안 3D 검출 베이스라인에 기반하며, 좌우 브랜치 간 공유된 백본 가중치를 유지하여 일관성을 확보한다.
• 특징 융합은 연결(concatenation)이나 요소별 덧셈(element-wise addition)이 아닌 재가중된 덧셈을 통해 수행되어 삼각측량에 유용한 분별 특징을 더 잘 유지한다.
• 전체 파ip라인은 엔드 투 엔드 방식으로 훈련되며, 단안 베이스라인이 스테레오 향상의 강력한 기초가 된다.

실험 결과

연구 질문

• RQ1 추가적인 깊이 감독 없이 단안 3D 검출 베이스라인이 스테레오 기반 최신 기술 수준의 방법들과 비교해 유사한 성능을 달성할 수 있는가?
• RQ2 픽셀 수준의 깊이 맵에 의존하지 않고 스테레오 이미지 쌍을 효과적으로 활용해 3D 객체 검출을 수행할 수 있는가?
• RQ3 좌우 뷰 간 특징 일관성에 기반한 채널 재가중 전략이 3D 객체 정렬 정확도에 얼마나 기여하는가?
• RQ4 기존 특징 융합 방식에 비해 명시적인 3D 앵커 기반 기하학적 대응 학습이 스테레오 뷰 간 더 정밀한 3D 바운딩 박스 예측을 가능하게 하는가?
• RQ5 제안된 TLNet 프레임워크가 KITTI 벤치마크에서 다양한 IoU 및 거리 임계값 하에서 검출 성능을 크게 향상시킬 수 있는가?

주요 결과

• 제안된 단안 베이스라인은 IoU 임계값 0.3에서 AP BEV 76.87을 기록하며, 이는 기존 스테레오 기반 SOTA 방법인 3DOP를 뛰어넘는 성능이며, 특히 0.5m 거리 임계값 하에서 뚜렷한 우월성을 보였다.
• TLNet를 적용한 결과, IoU 임계값 0.3과 0.5에서 약 8% 향상되었고, 1m 거리 임계값에서는 10% 향상되어 정렬 정확도 향상이 뚜렷하게 확인되었다.
• IoU 임계값 0.7에서 18.15의 AP 3D를 기록하며, 3DOP를 상당한 격차로 앞서며 엄격한 평가 기준 하에서도 높은 정밀도를 입증했다.
• 제거 분석 결과, 재가중 전략이 연결 및 덧셈보다 우수하여, IoU 0.3에서 78.26의 AP 3D를 기록했고, 연결 기반(76.87) 및 덧셈 기반(75.74)보다 높았다.
• 정성적 결과에서는 특히 먼 거리의 객체에서 깊이 오차가 감소하고, 이전에 놓쳤던 또는 크게 잘린 객체들에 대해서도 성공적으로 검출되는 것으로 나타났다.
• Recall-Precision 곡선 분석 결과, TLNet는 정밀도와 재현율을 모두 향상시켰으며, 최대 정밀도가 1.0에 가까워 높은 품질의 상위 예측을 제공함을 확인했다.