[논문 리뷰] Patch Refinement -- Localized 3D Object Detection

Johannes M. Lehner, Andreas Mitterecker외 4명|arXiv (Cornell University)|2019. 10. 09.

Advanced Neural Network Applications참고 문헌 20인용 수 26

한 줄 요약

패치 리포지션은 3D 객체 검출을 위한 이중단계 프레임워크를 제안하며, 영역 제안 네트워크(RPN)와 국소 보정 네트워크(LRN)를 사용하여 작은 포인트 클라우드 패치를 처리함으로써 고정밀 국소화를 달성한다. BEV 검출을 국소 3D 회귀와 분리함으로써, 단지 50%의 훈련 데이터와 라이다 입력만으로 KITTI에서 최신 기술 수준(SOTA) 성능을 달성하며, 모든 자동차 난이도 수준에서 기존 방법을 능가한다.

ABSTRACT

We introduce Patch Refinement a two-stage model for accurate 3D object detection and localization from point cloud data. Patch Refinement is composed of two independently trained Voxelnet-based networks, a Region Proposal Network (RPN) and a Local Refinement Network (LRN). We decompose the detection task into a preliminary Bird's Eye View (BEV) detection step and a local 3D detection step. Based on the proposed BEV locations by the RPN, we extract small point cloud subsets ("patches"), which are then processed by the LRN, which is less limited by memory constraints due to the small area of each patch. Therefore, we can apply encoding with a higher voxel resolution locally. The independence of the LRN enables the use of additional augmentation techniques and allows for an efficient, regression focused training as it uses only a small fraction of each scene. Evaluated on the KITTI 3D object detection benchmark, our submission from January 28, 2019, outperformed all previous entries on all three difficulties of the class car, using only 50 % of the available training data and only LiDAR information.

연구 동기 및 목표

• 희박한 라이다 포인트 클라우드에서 정확한 3D 객체 검출 문제를 해결하기 위해, 메모리 제약과 균일한 바르코어 해상도로 인한 단일단계 모델의 한계를 극복하고자 한다.
• 전체 환경이 아닌 객체 중심 패치에 고해상도 특징 학습을 집중시킴으로써 국소화 정확도를 향상시키고자 한다.
• 검출 및 보정 단계를 분리함으로써 독립적인 훈련을 가능하게 하여 고도화된 증강 기법과 더 효율적인 회귀 중심 학습을 가능하게 하고자 한다.
• 약한 RPN을 사용하더라도 경량 RPN과 고해상도 LRN을 효과적으로 조합함으로써 우수한 성능을 달성할 수 있음을 입증하고자 한다.

제안 방법

• 이 방법은 이중단계 파이프라인을 사용한다: 먼저, 바이트넷 기반 RPN이 잠재적 객체를 위한 2D 뷰(비어드의 시야, BEV) 제안을 생성한다.
• 이 제안들로부터, 각 후보 객체 위치 중심의 작은 3D 포인트 클라우드 서브셋(패치)이 추출된다.
• 각 패치는 별도로 독립적으로 훈련된 국소 보정 네트워크(LRN)에 의해 처리되며, 더 높은 바르코어 해상도를 통해 더 정확한 3D 경계 상자 회귀가 가능해진다.
• LRN은 바이트넷 아키텍처를 사용하며, 회귀 최적화를 위해 헤드 연결을 수정한다. 또한 보조 회귀 타겟을 통해 더 빠르고 안정적인 훈련에 기여한다.
• RPN과 LRN은 독립적으로 훈련되며, 이로 인해 LRN은 데이터 증강 기법을 사용할 수 있고 배치 정규화 간섭을 피할 수 있다.
• 프리트레이닝된 RPN을 패치에서 수행한 후 전체 환경에서 피니터닝함으로써 도메인 적응을 지원한다.

실험 결과

연구 질문

• RQ1 제안 생성과 국소 보정을 분리한 이중단계 3D 검출 파이프라인은 희박한 라이다 데이터에서 검출 정확도 향상에 기여하는가?
• RQ2 더 높은 바르코어 해상도로 전체 환경 대비 객체 중심 패치를 처리하는 것이 균일한 해상도 처리보다 더 나은 3D 국소화 성능을 낳는가?
• RQ3 약한 RPN과 함께 독립적으로 훈련된 국소 보정 네트워크(LRN)는 검출 성능 향상에 어느 정도 영향을 미치는가?
• RQ4 보조 회귀 타겟과 데이터 증강 전략은 LRN의 훈련 안정성과 성능에 어떤 영향을 미치는가?
• RQ5 경량 RPN을 패치에서 프리트레이닝한 후 전체 환경에서 피니터닝하면 일반화 성능 향상에 효과적인가?

주요 결과

• 패치 리포지션 모델은 2019년 1월 28일 기준으로, 훈련 데이터의 50%만을 사용하여 KITTI 3D 검출 벤치마크에서 어려운 자동차 인스턴스에 대해 89.61%의 AP를 달성했으며, 이는 이전 모든 제출물을 능가하는 성능이다.
• 중간 난이도 자동차에 대해 79.04%의 AP, 어려운 난이도에 대해 77.96%의 AP를 기록하여, 세 난이도 수준 모두에서 이전 기록을 초월했다.
• 보조 회귀 타겟을 생략할 경우 학습 속도가 느려지고 안정성이 떨어지며 성능 저하가 명확하게 나타나, 이는 훈련 효율성과 강건성 확보에 중요한 역할을 함을 시사한다.
• 검출에 특징 맵 B와 C를, 회귀에 A와 X를 사용하는 백본 버전(BC/AX)이 최적의 균형을 이룩했으며, 회귀 맵을 제거한 경우(BC/A) 어려운 및 중간 난이도 수준에서 성능 저하가 발생했다.
• 지표 제안서에서 정제된 LRN는 지표 제안서 기반으로 거의 최적의 성능(어려운 경우 89.58% AP, 중간 79.31% AP, 어려운 78.79% AP)을 달성했으며, 이는 RPN의 제안 품질이 핵심 제약 요소임을 시사한다.
• 전체 환경에서 피니터닝하기 전에 RPN을 패치에서 프리트레이닝함으로써 빠른 수렴이 이루어졌으며, 단 한 번의 추가 에포크 후 VoxelNet의 중간 AP 65.46을 초월했다.