[논문 리뷰] Dynamic Edge Weights in Graph Neural Networks for 3D Object Detection

Sumesh Thakur, Jiju Peethambaran|arXiv (Cornell University)|2020. 09. 17.

Advanced Neural Network Applications참고 문헌 28인용 수 5

한 줄 요약

이 논문은 거리 인지 기반 바이트라이제이션과 마스크된 어텐션을 사용하여 공간적 유사성과 특징 유사성에 기반해 이웃 특징을 적응적으로 가중하는 동적 엣지 가중 그래프 신경망(GNN)을 제안한다. 이는 LiDAR 포인트 클라우드에서 3D 객체 검출을 위한 것이다. 제안된 방법은 KITTI 벤치마크에서 경쟁적인 3D AP 점수를 달성하며, 특정 카테고리에서 몇몇 최신 기술보다 뛰어난 성능을 보였다.

ABSTRACT

A robust and accurate 3D detection system is an integral part of autonomous vehicles. Traditionally, a majority of 3D object detection algorithms focus on processing 3D point clouds using voxel grids or bird's eye view (BEV). Recent works, however, demonstrate the utilization of the graph neural network (GNN) as a promising approach to 3D object detection. In this work, we propose an attention based feature aggregation technique in GNN for detecting objects in LiDAR scan. We first employ a distance-aware down-sampling scheme that not only enhances the algorithmic performance but also retains maximum geometric features of objects even if they lie far from the sensor. In each layer of the GNN, apart from the linear transformation which maps the per node input features to the corresponding higher level features, a per node masked attention by specifying different weights to different nodes in its first ring neighborhood is also performed. The masked attention implicitly accounts for the underlying neighborhood graph structure of every node and also eliminates the need of costly matrix operations thereby improving the detection accuracy without compromising the performance. The experiments on KITTI dataset show that our method yields comparable results for 3D object detection.

연구 동기 및 목표

• 자율주행에서 LiDAR 포인트 클라우드에 기반한 그래프 신경망을 활용하여 3D 객체 검출 정확도를 향상시키는 것.
• 바이트라이제이션 기반 및 벌전 시각(鳥瞰視) 표현의 한계를 극복하기 위해 기하학적 구조를 유지하는 그래프 기반 접근법을 사용하는 것.
• 상대 좌표와 특징 유사성에 기반해 동적으로 엣지 가중치를 설정하여 GNN의 특징 집약을 향상시키는 것.
• 멀리 떨어진 객체의 특징을 유지하기 위해 거리 인지 기반의 다운샘플링 전략을 개발하는 것.
• KITTI 데이터셋에서의 추론 연구를 통해 제안된 어텐션 메커니즘과 다운샘플링 방법의 효과를 평가하는 것.

제안 방법

• 센서에서의 거리에 따라 크기가 변하는 바이트라이제이션을 사용하는 거리 인지 기반 다운샘플링 알고리즘을 도입하여 먼 거리의 객체 기하학적 특징을 유지한다.
• 다운샘플된 포인트 클라우드에서 그래프를 구성하며, 각 포인트는 노드로, 엣지는 이웃 관계를 나타낸다.
• 마스크된 어텐션 메커니즘은 이웃 노드 간의 상대 좌표와 특징 유사성에 기반해 동적 엣지 가중치를 할당한다.
• 각 GNN 레이어에서의 특징 집약은 학습된 어텐션 가중치를 사용해 노드 특징을 조합하며, 비용이 많이 드는 행렬 연산을 피한다.
• GNN 아키텍처는 다중 레이어를 스택하여 객체 검출을 위한 노드 표현을 반복적으로 개선한다.
• 최종 검출 출력은 개선된 노드 특징에서 3D 경계 상자와 클래스 레이블을 예측하는 헤드 네트워크를 통해 생성된다.

실험 결과

연구 질문

• RQ1 바이트라이제이션 기반 방법과 비교해 동적 엣지 가중치를 갖춘 그래프 신경망이 LiDAR 포인트 클라우드에서 3D 객체 검출 성능을 향상시킬 수 있는가?
• RQ2 거리 인지 기반 다운샘플링은 포인트 클라우드에서 먼 거리 또는 희박한 객체의 검출 정확도에 어떤 영향을 미치는가?
• RQ3 상대적 공간 거리와 특징 거리에 기반한 어텐션 기반 특징 집약이 검출 성능 향상에 어느 정도 기여하는가?
• RQ4 GNN 레이어 수가 검출 정확도와 과적합에 어떤 영향을 미치는가?
• RQ5 KITTI 벤치마크에서 기존 최신 기술 기반 3D 객체 검출기와 비교해 제안된 방법의 추론 속도와 정확도는 어떠한가?

주요 결과

• 제안된 방법은 KITTI 검증 세트에서 차량 카테고리의 어려움 수준(easy)에서 3D 평균 정밀도(AP) 83.54%를 달성하였으며, 최신 기술 모델들과 유사한 성능을 보였다.
• 중간 수준의 어려움에서, 방법은 74.47%의 3D AP를 기록하였으며, MV3D와 F-PointNet를 능가했고, PointGNN와 동일한 성능을 기록했다.
• 벌전 시각(BEV) 검출에서, 방법은 어려움 수준에서 90.12%의 AP를 달성하여 PointGNN를 포함한 대부분의 베이스라인을 뛰어넘었다.
• 추론 연구 결과, 성능은 세 개의 GNN 레이어에서 최고로 나타났으며(83.54% 3D AP), 네 개 레이어에서 약간의 감소가 있었고, 이는 과적합의 가능성을 시사했다.
• 최종 예측의 추론 시간은 15ms로 측정되었으며, 전처리 및 그래프 구축 시간을 포함한 전체 처리 시간은 502ms/샘플이었다. 이는 실시간 배포에 적합했다.
• KITTI 벤치마크에서 보행자 검출에서는 AVOD를, 차량 검출에서는 MV3D를 능가하여 다양한 객체 카테고리에서의 강건성을 입증했다.