[논문 리뷰] Frustum ConvNet: Sliding Frustums to Aggregate Local Point-Wise Features for Amodal 3D Object Detection

Zhixin Wang, Kui Jia|arXiv (Cornell University)|2019. 03. 05.

Advanced Neural Network Applications참고 문헌 30인용 수 162

한 줄 요약

Frustum ConvNet (F-ConvNet)은 2D 영역 제안에서 로컬 포인트를 그룹화하기 위해 슬라이딩 프러스텀(sliding frustums)을 도입하고, PointNet으로 이를 집계해 프러스텀 수준 특징을 얻고, 이를 완전 컨볼루셔널 네트워크와 융합하여 엔드 투 엔드 지향 3D 박스 추정을 수행하며 SUN-RGBD와 KITTI에서 최첨단 성능을 달성한다.

ABSTRACT

In this work, we propose a novel method termed \emph{Frustum ConvNet (F-ConvNet)} for amodal 3D object detection from point clouds. Given 2D region proposals in an RGB image, our method first generates a sequence of frustums for each region proposal, and uses the obtained frustums to group local points. F-ConvNet aggregates point-wise features as frustum-level feature vectors, and arrays these feature vectors as a feature map for use of its subsequent component of fully convolutional network (FCN), which spatially fuses frustum-level features and supports an end-to-end and continuous estimation of oriented boxes in the 3D space. We also propose component variants of F-ConvNet, including an FCN variant that extracts multi-resolution frustum features, and a refined use of F-ConvNet over a reduced 3D space. Careful ablation studies verify the efficacy of these component variants. F-ConvNet assumes no prior knowledge of the working 3D environment and is thus dataset-agnostic. We present experiments on both the indoor SUN-RGBD and outdoor KITTI datasets. F-ConvNet outperforms all existing methods on SUN-RGBD, and at the time of submission it outperforms all published works on the KITTI benchmark. Code has been made available at: {\url{https://github.com/zhixinwang/frustum-convnet}.}

연구 동기 및 목표

• 2D 영역 제안을 활용하여 포인트 클라우드로부터 암달(amis) 3D 물체 탐지를 유도한다.
• 연속적인 슬라이딩 프러스텀을 도입하여 로컬 포인트를 그룹화하고 프러스텀 수준의 특징을 학습한다.
• 프러스텀 수준의 특징을 완전 컨볼루셔널 네트워크와 융합하여 엔드 투 엔드 3D 박스 추정을 수행한다.
• 다중 해상도 프러스텀 특징 및 정교화 전략으로 프레임워크를 확장한다.
• 실내 SUN-RGBD와 실외 KITTI 데이터셋에서 데이터세트에 의존하지 않는 성능을 입증한다.

제안 방법

• 2D 영역 제안당 프러스텀 축을 따라 겹치는 프러스텀 시퀀스를 생성한다.
• 각 프러스텀에 대해 상대 좌표를 사용한 PointNet을 적용하여 프러스텀 수준의 특징 벡터를 얻는다.
• 프러스텀 특징을 2D 특징 맵으로 배치하고 다중 블록 FCN으로 프러스텀 간 특징을 융합하고 3D 박스를 회귀한다.
• 다중 해상도 프러스텀 특징 통합 variant를 선택적으로 도입하여 여러 스케일을 포착한다.
• 예측된 3D 박스를 확장한 점들에서 네트워크를 다시 실행하여 최종 정제 단계를 적용한다.
• 분류를 위한 focal loss, 회귀(센터와 크기/각도 오프셋), 코너 로스를 포함한 멀티태스크 손실로 학습한다.

실험 결과

연구 질문

• RQ1 슬라이딩 프러스텀이 암달 3D 탐지를 위한 로컬 포인트 특징 집계 개선에 기여하는가?
• RQ2 FCN 기반 프러스텀 간 특징 융합이 방향성 3D 박스의 엔드 투 엔드 추정을 정확하게 가능하게 하는가?
• RQ3 다중 해상도 프러스텀 특징과 정교한 3D 공간 활용이 탐지 정확도를 향상시키는가?
• RQ4 F-ConvNet이 실내 SUN-RGBD와 실외 KITTI 데이터셋에서 일반화에 얼마나 잘 작동하는가?

주요 결과

• F-ConvNet은 amodal 3D 물체 탐지에서 SUN-RGBD 상의 최첨단 성능을 달성한다.
• KITTI에서 F-ConvNet은 평가 작업들에 대해 제출 시점의 모든 공개 연구를 능가한다.
• 프러스텀 기반 그룹화, PointNet 기반 프러스텀 특징, FCN 융합, 다중 해상도 변형, focal loss, 최종 정제를 포함한 차례의 제거 실험(ablation)은 효과를 확인한다.
• 데이터세트에 의존하지 않는 설계로 환경 지식에 의존하지 않고도 효과적인 탐지가 가능하다.