[논문 리뷰] Class-specific Anchoring Proposal for 3D Object Recognition in LIDAR and RGB Images

Amir Hossein Raffiee, Humayun Irshad|arXiv (Cornell University)|2019. 07. 22.

Advanced Neural Network Applications참고 문헌 24인용 수 5

한 줄 요약

이 논문은 RGB 및 라이다 데이터에서 3D 객체 검출을 위한 앵커 사전을 최적화하기 위해 K-means 및 혼합 정규분포 모델(GMM) 기반의 클러스터링 전략인 클래스별 앵커 제안(Class-specific Anchoring Proposal, CAP)을 제안한다. KITTI 데이터셋의 객체 분포에서 클래스별 앵커 크기와 종횡비를 학습함으로써, 자전거 타는 이동자에 대해 최대 12.1% 향상되고 보행자에 대해 최대 8.8% 향상되는 3D 평균 정밀도를 달성하며, 자전거 타는 이동자/보행자에 대해 최적의 클러스터 수는 n=5, 차량에 대해 n=2이다.

ABSTRACT

Detecting objects in a two-dimensional setting is often insufficient in the context of real-life applications where the surrounding environment needs to be accurately recognized and oriented in three-dimension (3D), such as in the case of autonomous driving vehicles. Therefore, accurately and efficiently detecting objects in the three-dimensional setting is becoming increasingly relevant to a wide range of industrial applications, and thus is progressively attracting the attention of researchers. Building systems to detect objects in 3D is a challenging task though, because it relies on the multi-modal fusion of data derived from different sources. In this paper, we study the effects of anchoring using the current state-of-the-art 3D object detector and propose Class-specific Anchoring Proposal (CAP) strategy based on object sizes and aspect ratios based clustering of anchors. The proposed anchoring strategy significantly increased detection accuracy's by 7.19%, 8.13% and 8.8% on Easy, Moderate and Hard setting of the pedestrian class, 2.19%, 2.17% and 1.27% on Easy, Moderate and Hard setting of the car class and 12.1% on Easy setting of cyclist class. We also show that the clustering in anchoring process also enhances the performance of the regional proposal network in proposing regions of interests significantly. Finally, we propose the best cluster numbers for each class of objects in KITTI dataset that improves the performance of detection model significantly.

연구 동기 및 목표

• 크기 및 종횡비 변동성이 높은 객체에 대해 앵커 미스매칭 문제를 해결함으로써 자율주행 환경에서의 3D 객체 검출 성능을 향상시키기.
• AVOD와 같은 최신 3D 검출기에서 고정된 앵커 사전의 한계를 해결함으로써, 크기 다양성이 높은 보행자 및 자전거 타는 이동자에 대해 성능이 열 劣하는 문제를 해결하기.
• KITTI 데이터셋의 객체 치수를 클러스터링하여 클래스별 앵커 사전을 학습함으로써 앵커 제안을 최적화하기.
• 객체 제안을 위한 더 나은 사전 앵커 기하학적 구조를 제공함으로써 영역 제안 네트워크(RPN) 성능을 향상시키기.
• 과도한 계산 비용 없이 검출 정확도를 최대화할 수 있도록 각 객체 클래스에 대한 최적의 클러스터 수(n)를 결정하기.

제안 방법

• KITTI 데이터셋의 각 객체 클래스에 대한 3D 경계상자 치수(너비, 높이, 길이)에 대해 K-means 및 혼합 정규분포 모델(GMM) 클러스터링을 적용한다.
• 클러스터 중심을 3D 영역 제안 네트워크(RPN)의 앵커 사전으로 사용하여 고정된 앵커 템플릿 대신 클래스별 사전을 도입한다.
• RGB 및 뷰어의 뷰(Bird’s-eye-view, BEV) 라이다 특징을 융합하는 3D 검출을 위한 AVOD 프레임워크에 클래스별 앵커 제안 전략을 통합한다.
• 3D IoU 임계값 0.5를 사용하여 KITTI의 3D 검출 벤치마크에서 수정된 CAP-AVOD 모델을 훈련 및 평가한다.
• AP에 대한 영향을 평가하기 위해 클러스터 수(n)를 1에서 5까지 체계적으로 변화시킨다.
• 각 클러스터의 평균 앵커 치수를 사용하여 사전 앵커 형상을 정의함으로써 실제 각 클래스의 객체 기하학과의 일치도를 향상시킨다.

실험 결과

연구 질문

• RQ1 클러스터링을 통한 클래스별 앵커 제안은 고정된 앵커 사전 대비 3D 객체 검출 정확도를 어떻게 향상시키는가?
• RQ2 KITTI 데이터셋에서 각 객체 클래스(차량, 보행자, 자전거 타는 이동자)에 대해 앵커 사전의 최적의 클러스터 수(n)는 얼마인가?
• RQ3 클러스터링 기반의 앵커 제안은 영역 제안 네트워크(RPN)가 관련 영역을 제안하는 데 성능을 향상시키는가?
• RQ4 왜 성능 향상 폭이 객체 클래스 간에 상당히 다를까? 특히 크기 변동성이 높은 보행자 및 자전거 타는 이동자에 대해 설명하라.
• RQ5 제안된 앵커 전략은 계산 비용을 크게 증가시키지 않으면서도 높은 정확도를 유지할 수 있는가?

주요 결과

• K-means 및 GMM 클러스터링을 통한 클래스별 앵커 제안은 보행자 클래스에 대해 Easy, Moderate, Hard 설정에서 각각 7.19%, 8.13%, 8.8%의 3D 평균 정밀도(AP) 향상을 이룩하였다.
• 자전거 타는 이동자 클래스에 대해 Easy 설정에서 AP가 12.1% 향상되어 크기 및 종횡비 변동성이 높아서 가장 큰 성과를 기록하였다.
• 차량 클래스는 Easy, Moderate, Hard 설정에서 각각 2.19%, 2.17%, 1.27%의 AP 향상을 기록하였으며, 최적의 성능은 n=2 클러스터에서 달성되었다.
• 더 나은 사전 앵커 기하학적 구조 덕분에 RPN 성능이 크게 향상되어 더 정확한 영역 제안이 가능해졌다.
• 최적의 클러스터 수는 자전거 타는 이동자 및 보행자에 대해 n=5, 차량에 대해 n=2로, 성능 포화도 및 AP 추세를 바탕으로 도출되었다.
• 자전거 타는 이동자 및 보행자에 대해 n=5를 초과하여 클러스터 수를 늘일 경우, 이상치 및 계산 오버헤드로 인해 성능 향상의 수익 감소 및 성능 저하가 발생하였다.