[논문 리뷰] ZoomNet: Part-Aware Adaptive Zooming Neural Network for 3D Object Detection

Zhenbo Xu, Wei Zhang외 7명|arXiv (Cornell University)|2020. 03. 01.

Advanced Neural Network Applications참고 문헌 19인용 수 4

한 줄 요약

ZoomNet는 거리가 먼 객체 및 가림을 겪는 객체의 디스parity 추정 및 3D 포인트 클라우드 재구성 향상을 위해 파트 인식형 적응형 줌 기능을 사용하는 새로운 스테레오 3D 객체 검출 프레임워크이다. 객체 인스턴스를 균일한 해상도로 재조정하고 카메라 파라미터를 조정함으로써 포인트 클라우드의 밀도와 품질을 향상시키며, KITTI에서 허위 LiDAR 대비 9.4%의 APbv (IoU=0.7) 향상을 기록하여 최신 기술 수준을 달성한다.

ABSTRACT

3D object detection is an essential task in autonomous driving and robotics. Though great progress has been made, challenges remain in estimating 3D pose for distant and occluded objects. In this paper, we present a novel framework named ZoomNet for stereo imagery-based 3D detection. The pipeline of ZoomNet begins with an ordinary 2D object detection model which is used to obtain pairs of left-right bounding boxes. To further exploit the abundant texture cues in RGB images for more accurate disparity estimation, we introduce a conceptually straight-forward module -- adaptive zooming, which simultaneously resizes 2D instance bounding boxes to a unified resolution and adjusts the camera intrinsic parameters accordingly. In this way, we are able to estimate higher-quality disparity maps from the resized box images then construct dense point clouds for both nearby and distant objects. Moreover, we introduce to learn part locations as complementary features to improve the resistance against occlusion and put forward the 3D fitting score to better estimate the 3D detection quality. Extensive experiments on the popular KITTI 3D detection dataset indicate ZoomNet surpasses all previous state-of-the-art methods by large margins (improved by 9.4% on APbv (IoU=0.7) over pseudo-LiDAR). Ablation study also demonstrates that our adaptive zooming strategy brings an improvement of over 10% on AP3d (IoU=0.7). In addition, since the official KITTI benchmark lacks fine-grained annotations like pixel-wise part locations, we also present our KFG dataset by augmenting KITTI with detailed instance-wise annotations including pixel-wise part location, pixel-wise disparity, etc.. Both the KFG dataset and our codes will be publicly available at https://github.com/detectRecog/ZoomNet.

연구 동기 및 목표

• 스테레오 영상 기반 시스템에서 거리가 먼 객체 및 가림을 겪는 객체에 대한 정확도가 떨어지는 문제를 해결한다.
• 전체적인 디스파리 추정에 한계가 있는 허위 LiDAR의 문제를 해결한다. 이는 해상도가 낮고 특징이 흐물흐물한 경우 먼 거리나 가림을 겪는 객체에서 성능이 떨어지기 때문이다.
• 픽셀 단위의 파트 위치 감독을 도입하여 가림에 대한 강건성을 향상시킨다. 이는 보조적인 3D 정보로 기능한다.
• 3D 피팅 스코어를 제안함으로써 3D 검출 신뢰도 추정을 향상시킨다. 이는 2D 분류 확률보다 3D IoU와 더 잘 관련된다.
• 미세한 레이블(픽셀 단위의 파트 위치, 디스파리)을 포함한 새로운 데이터셋 KFG를 개발하여 향후 스테레오 3D 검출 연구를 지원한다.

제안 방법

• 각 객체에 대해 표준 2D 객체 검출기를 적용하여 좌우 이미지의 인스턴스 바운딩 박스를 생성한다.
• 적응형 줌 적용: 각 2D 인스턴스를 고정된 해상도로 재조정하고, 기하학적 일致성을 유지하기 위해 카메라 내재 파라미터를 비례적으로 조정한다.
• 줌 처리된 인스턴스 이미지에서 고해상도 디스파리 맵을 추정함으로써 먼 거리의 객체에 대한 더 정확한 깊이 추정이 가능해진다.
• 조정된 카메라 파라미터를 사용하여 줌 처리된 디스파리 맵을 3D 포인트 클라우드로 투영함으로써, 객체의 거리에 관계없이 균일하게 밀도 높은 포인트 클라우드를 생성한다.
• 파트 위치 헤드를 도입하여 픽셀 단위의 파트 위치(예: 앞면, 뒷면, 옆면)를 예측함으로써 3D 인식 감독을 제공함으로써, 가림 상황에서도 일반화 능력을 향상시킨다.
• 3D 피팅 스코어를 제안하여 3D 검출의 신뢰도를 측정한다. 이는 예측값과 진짜값 간의 3D IoU를 기반으로 계산되며, 2D 분류 확률보다 검출 품질을 더 잘 반영한다.

실험 결과

연구 질문

• RQ1 객체 인스턴스의 적응형 줌 기능이 스테레오 3D 검출에서 먼 거리의 객체에 대해 디스파리 추정 및 3D 포인트 클라우드 품질을 향상시키는가?
• RQ2 픽셀 단위의 파트 위치 감독을 통합함으로써 가림 상황에서의 검출 강건성은 어떻게 향상되는가?
• RQ3 3D 피팅 스코어는 2D 분류 확률보다 3D 검출의 신뢰도 추정에 더 나은가?
• RQ4 적응형 줌, 파트 위치, 3D 피팅 스코어의 조합이 도전적인 KITTI 벤치마크에서 성능을 얼마나 향상시키는가?
• RQ5 픽셀 단위의 레이블을 포함한 새로운 미세한 레이블 데이터셋(KFG)은 스테레오 3D 검출의 평가 및 학습에 더 나은 지원을 제공하는가?

주요 결과

• ZoomNet는 KITTI 3D 검출 벤치마크에서 허위 LiDAR 대비 9.4%의 절대적 APbv (IoU=0.7) 향상을 기록하며, 새로운 최신 기술 수준을 확립했다.
• KITTI Mode 세트에서 ZoomNet는 72.94%의 APbv (IoU=0.7)를 기록하여 이전의 모든 이미지 기반 방법을 초월했으며, 스테레오 기반 방법으로서는 처음으로 하드 세트에서 70%를 초과한 것이다.
• 절단 분석 결과, 적응형 줌 기능만으로도 기준 모델 대비 AP3d (IoU=0.7)가 10% 이상 향상되었으며, 이는 포인트 클라우드의 밀도와 품질 향상에 핵심적인 역할을 함을 보여준다.
• 파트 위치 감독을 제거하면 하드 세트에서 AP3d (IoU=0.7)가 40.88% 감소하여, 가려진 객체를 검출하는 데 있어 이 감독의 중요성을 확인한다.
• 3D 피팅 스코어는 검출 신뢰도 추정을 크게 향상시키며, 이 스코어를 제거하면 특히 높은 IoU 기준에서 AP3d (IoU=0.7)가 4% 감소한다.
• 코드와 함께 공개된 KFG 데이터셋은 파트 위치 및 디스파리에 대한 픽셀 단위의 레이블을 제공하여, 향후 미세한 3D 검출 연구를 가능하게 한다.