[논문 리뷰] A survey of Object Classification and Detection based on 2D/3D data

Xiaoke Shen|arXiv (Cornell University)|2019. 05. 29.

Advanced Neural Network Applications참고 문헌 69인용 수 19

한 줄 요약

이 종합 검토는 2D 및 3D 객체 분류 및 검출 기법에 대한 포괄적인 개요를 제공하며, 2D 이미지 기반 시스템에서 포인트 클라우드, 복셀, 다중 시점 표현을 사용하는 3D 방법으로의 전환을 강조한다. 3D 데이터의 과제—예를 들어 희소성, 높은 계산 비용, 제한된 레이블이 부여된 데이터셋—을 언급하고, Frustum PointNet과 같은 프레임워크를 평가한다. 이 프레임워크는 2D 검출과 3D 포인트 클라우드 처리를 결합하여 KITTI 벤치마크에서 최신 기술 성능을 달성하며, 자동차에 대해 3D AP 70.39를 기록한다.

ABSTRACT

Recently, by using deep neural network based algorithms, object classification, detection and semantic segmentation solutions are significantly improved. However, one challenge for 2D image-based systems is that they cannot provide accurate 3D location information. This is critical for location sensitive applications such as autonomous driving and robot navigation. On the other hand, 3D methods, such as RGB-D and RGB-LiDAR based systems, can provide solutions that significantly improve the RGB only approaches. That is why this is an interesting research area for both industry and academia. Compared with 2D image-based systems, 3D-based systems are more complicated due to the following five reasons: 1) Data representation itself is more complicated. 3D images can be represented by point clouds, meshes, volumes. 2D images have pixel grid representations. 2) The computation and memory resource requirement is higher as an extra dimension is added. 3) Different distribution of the objects and difference in scene areas between indoor and outdoor make one unified framework hard to achieve. 4) 3D data, especially for the outdoor scenario, is sparse compared with the dense 2D images which makes the detection task more challenging. Finally, large size labelled datasets, which are extremely important for supervised based algorithms, are still under construction compared with well-built 2D datasets such as ImageNet. Based on challenges listed above, the described systems are organized by application scenarios, data representation methods and main tasks addressed. At the same time, critical 2D based systems which greatly influence the 3D ones are also introduced to show the connection between them.

연구 동기 및 목표

• 컴퓨터 시각 분야에서 2D 및 3D 객체 분류 및 검출 기법에 대한 체계적인 검토를 제공하기 위해.
• 2D 기반 시스템과는 달리 3D 기반 시스템에 특화된 과제 분석을 위해, 데이터 희소성, 계산 복잡성, 대규모 레이블이 부여된 데이터셋 부족과 같은 문제들을 다루기 위해.
• 포인트 클라우드, 복셀, 다중 시점 이미지, 깊이 투영 등 다양한 3D 데이터 표현 방식의 장단점을 비교 분석하기 위해.
• 2D 검출을 활용하여 3D 객체 위치를 추정하는 하이브리드 2D-3D 프레임워크, 예를 들어 Frustum PointNet을 검토하기 위해.
• KITTI와 같은 표준 벤치마크에서 최첨단 모델의 성능 평가를 위해, 3D 평균 정밀도(AP) 지표에 중점을 두기 위해.

제안 방법

• 이 검토는 적용 시나리오, 데이터 표현 방식(예: 포인트 클라우드, 복셀, 다중 시점 이미지), 핵심 작업(분류, 검출, 세분화)에 따라 기존 기법을 체계적으로 정리한다.
• 기초적인 2D 기법들인 AlexNet, VGG, ResNet을 검토하며, 이들은 전이 학습과 특징 추출을 통해 현대 3D 기법의 기반을 마련한다.
• 3D 검출을 위해, Frustum PointNet과 같은 하이브리드 프레임워크를 분석한다. 이는 먼저 RGB 이미지에서 2D 컨볼루션 네트워크(CNN)를 사용해 객체를 검출한 후, 2D 영역을 3D 프루스트럼으로 변환한다.
• 각 3D 프루스트럼 내부에서 PointNet 기반 네트워크가 포인트 수준의 이진 분류를 수행하여 객체 포인트를 분할하고, 중심점 정렬 및 3D 경계 상자 회귀를 수행한다.
• 이 방법은 2D 객체 검출 신뢰도와 기하학적 정보를 활용하여, 특히 희소한 실외 환경에서 3D 검출 정확도를 향상시킨다.
• 성능 평가는 KITTI와 같은 표준 벤치마크에서 3D 평균 정밀도(AP)와 같은 표준 지표를 사용하며, 결과는 객체 유형별로 보고된다(자동차, 보행자, 자전거 운전자).

실험 결과

연구 질문

• RQ1 AlexNet 및 VGG와 같은 2D 기반 딥 러닝 모델들이 3D 객체 검출 시스템 개발에 어떻게 기여하는가?
• RQ2 2D와 비교할 때 3D 객체 검출에서의 주요 과제는 무엇인가? 특히 데이터 표현 방식, 희소성, 계산 비용 측면에서 설명하라.
• RQ3 Frustum PointNet과 같은 하이브리드 2D-3D 프레임워크는 2D 검출 신뢰도와 3D 기하학적 정보를 어떻게 활용하여 3D 검출 성능을 향상시키는가?
• RQ4 포인트 클라우드, 복셀, 다중 시점 이미지, 깊이 투영 등 다양한 3D 데이터 표현 방식의 분류 및 검출 작업에서의 상대적 강점과 약점은 무엇인가?
• RQ5 현재 3D 검출 모델들은 2D 모델과 비교해 어느 정도 성능을 달성하고 있으며, KITTI와 같은 벤치마크에서의 주요 성능 격차는 무엇인가?

주요 결과

• Frustum PointNet은 KITTI 검증 세트에서 자동차에 대해 3D 평균 정밀도(AP) 70.39, 보행자에 대해 44.89, 자전거 운전자에 대해 56.77를 기록하여 실생활 자율 주행 환경에서 뛰어난 성능을 입증한다.
• AlexNet 및 VGG와 같은 2D 기반 모델들은 전이 학습과 특징 추출을 가능하게 하여 현대 3D 검출 기법의 기초를 마련했으며, 이는 3D 작업에서 성능 향상에 크게 기여했다.
• 포인트 클라우드 기반 방법은 복셀이나 다중 시점 표현보다 3D 기하학적 구조를 더 잘 유지하지만, 비정규적이고 희소한 데이터 구조를 처리하기 위해 PointNet과 같은 특수 네트워크가 필요하다.
• 복셀 기반 3D CNN은 높은 계산 복잡도(O(n³))와 낮은 해상도로 인해 세밀한 형태의 세부 정보를 포착하는 데 한계가 있다.
• 다중 시점 및 깊이 투영 방법은 성숙한 2D CNN을 활용할 수 있지만 기하학적 정확도를 상실하고, 가림 현상과 완전하지 않은 시점 가용성으로 인해 제한을 받는다.
• 대규모로 완전히 레이블이 부여된 3D 데이터셋의 부족은 특히 2D 작업에서 잘 정립된 ImageNet 데이터셋과 비교할 때 주요 장애물로 남아 있다.