[논문 리뷰] Point-GNN: Graph Neural Network for 3D Object Detection in a Point Cloud

Weijing Shi, Ragunathan외 1명|arXiv (Cornell University)|2020. 03. 02.

Advanced Neural Network Applications참고 문헌 22인용 수 102

한 줄 요약

Point-GNN은 데이터가 고정 반경 이웃 그래프로 모델링되고 자동 등록 메커니즘과 상자 병합/스코어링 단계가 포함된 그래프 신경망을 통해 LiDAR 포인트 클라우드에서 직접 3D 객체를 탐지하며, 포인트 클라우드만으로 KITTI에서 최첨단 결과를 달성한다.

ABSTRACT

In this paper, we propose a graph neural network to detect objects from a LiDAR point cloud. Towards this end, we encode the point cloud efficiently in a fixed radius near-neighbors graph. We design a graph neural network, named Point-GNN, to predict the category and shape of the object that each vertex in the graph belongs to. In Point-GNN, we propose an auto-registration mechanism to reduce translation variance, and also design a box merging and scoring operation to combine detections from multiple vertices accurately. Our experiments on the KITTI benchmark show the proposed approach achieves leading accuracy using the point cloud alone and can even surpass fusion-based algorithms. Our results demonstrate the potential of using the graph neural network as a new approach for 3D object detection. The code is available https://github.com/WeijingShi/Point-GNN.

연구 동기 및 목표

• 격자/보셀 변환 없이 원시 LiDAR 포인트 클라우드에서 직접 3D 객체를 탐지할 수 있음을 동기 부여하고 시연한다.
• 고정 반경 근접 이웃 연결을 통해 포인트 클라우드의 간결한 그래프 표현을 제안한다.
• 이동 분산을 줄이는 자동 등록 메커니즘과 정점을 기준으로 한 탐지들을 융합하는 상자 병합/스코어링 방법을 갖춘 Point-GNN을 개발한다.
• KITTI 실험을 통해 포인트 클라우드만의 탐지가 융합 기반 접근법과 견줄 만한 높은 정확도를 달성할 수 있음을 보여준다.
• 성능에 대한 자동 등록, 상자 병합/스코어링 및 반복 깊이의 영향 이해를 위한 ablation 연구를 제공한다.

제안 방법

• 점 클라우드에서 정점은 점이고 간선은 반경 r 이내의 이웃을 연결하도록 그래프를 구성한다.
• 가까운 점들의 특징을 이용한 PointNet과 유사한 집합 함수(최댓값 풀링)를 사용하여 조밀한 국부 기하를 초기 정점 상태에 임베딩한다.
• 각 반복마다 MLP를 사용하는 다중 반복 GNN으로 정점 상태를 업데이트한다: 정점 상태에서 예측된 자동 등록 보정 Delta x^t를 포함하고, 이웃 특징을 Max 연산으로 집계한다.
• 각 정점에 대해 객체 클래스를 예측하기 위해 분류 분기(MLP_cls)와 위치 추정을 위한 로컬라이제이션 분기(MLP_loc)를 공유한다.
• 정점 위치에 상대적인 경계 상자를 인코딩하고 로컬라이제이션에 허버 손실을 사용한다; 분류, 로컬라이제이션 및 정규화를 결합한 전체 손실(l_total = alpha l_cls + beta l_loc + gamma l_reg)로 학습한다.
• 중첩된 탐지의 중앙값 상자를 사용하는 NMS 변형과 가려짐을 고려한 스코어링 항을 도입하여 최종 탐지들을 생성한다.

실험 결과

연구 질문

• RQ1 격자/보셀 변환 없이 포인트 클라우드에서 직접 동작하는 그래프 신경망이 경쟁력 있는 3D 물체 탐지 결과를 달성할 수 있는가?
• RQ2 자동 등록 메커니즘이 이동 분산을 줄이고 포인트 클라우드의 정점-객체 연관성을 개선하는가?
• RQ3 상자 병합 및 스코어링 전략이 다중 정점 탐지를 하나의 일관된 객체 경계 상자로 개선하는가?
• RQ4 KITTI 벤치마크에서 LiDAR 데이터만 사용한 Point-GNN의 성능은 융합 기반 방법과 비교해 어떤가?
• RQ5 성능에 대한 GNN 반복 횟수와 데이터 증강의 영향은 어떠한가?

주요 결과

• Point-GNN은 LiDAR 포인트 클라우드만을 사용한 채로 KITTI에서 선도적인 결과를 달성하며, 일부 융합 기반 방법을 능가하기도 한다.
• 자동 등록은 이동 분산을 줄이고 반복 간 로컬라이제이션의 강건성을 향상시킨다.
• 상자 병합 및 스코어링은 특히 자동 등록과 함께 사용될 때 표준 NMS 기준보다 탐지 정확도를 일관되게 향상시킨다.
• GNN 반복을 1에서 2로 늘리면 눈에 띄는 이득이 나타나고, 더 깊은 반복은 최적화 문제를 야기할 수 있으며 설정에 따라 2 반복이 가장 좋은 성능을 내는 경우가 많다.
• Bevá를 검토하면, 그들의 ablation은 Box merging + Box scoring + Auto-registration이 개별 구성 요소에 비해 누적 이점을 제공한다.