[논문 리뷰] S-AT GCN: Spatial-Attention Graph Convolution Network based Feature Enhancement for 3D Object Detection

Li Wang, Chenfei Wang외 3명|arXiv (Cornell University)|2021. 03. 15.

Advanced Neural Network Applications참고 문헌 24인용 수 7

한 줄 요약

이 논문은 파artition 기반 방법에서 발생하는 분할 효과를 완화함으로써 3D 객체 검출에서 특징 추출을 향상시키는 공간주의 그래프 컨볼루션 네트워크인 S-AT GCN을 제안한다. 그래프 컨볼루션과 공간주의 주의 메커니즘을 통합하여 국소 기하학적 세부 정보를 포착함으로써, 이 방법은 소형 객체에 대한 성능을 향상시키며, 보행자 mAP를 3.62% 향상시키고 자전거 기사 mAP를 4.21% 향상시킨다. 동시에 단일 RTX 3090에서 48 FPS의 실시간 추론을 유지를 한다.

ABSTRACT

3D object detection plays a crucial role in environmental perception for autonomous vehicles, which is the prerequisite of decision and control. This paper analyses partition-based methods' inherent drawbacks. In the partition operation, a single instance such as a pedestrian is sliced into several pieces, which we call it the partition effect. We propose the Spatial-Attention Graph Convolution (S-AT GCN), forming the Feature Enhancement (FE) layers to overcome this drawback. The S-AT GCN utilizes the graph convolution and the spatial attention mechanism to extract local geometrical structure features. This allows the network to have more meaningful features for the foreground. Our experiments on the KITTI 3D object and bird's eye view detection show that S-AT Conv and FE layers are effective, especially for small objects. FE layers boost the pedestrian class performance by 3.62\% and cyclist class by 4.21\% 3D mAP. The time cost of these extra FE layers are limited. PointPillars with FE layers can achieve 48 PFS, satisfying the real-time requirement.

연구 동기 및 목표

• 파artition 기반 3D 객체 검출 방법에서 내재된 분할 효과를 특정하고 분석하여, 소형 및 희박한 객체에서 성능 저하를 유발하는 원인을 규명한다.
• 분할 연산 이후 손실된 기하학적 세부 정보를 복원하는 기능 강화(FE) 레이어를 제안하여 얕은 네트워크 레이어에서의 특징 표현을 향상시킨다.
• 유클리드 거리 기반 주의 메커니즘을 사용하여 국소 기하학적 구조를 명시적으로 모델링하는 공간주의 주의 그래프 컨볼루션(S-AT GCN) 모듈을 설계한다.
• FE 레이어가 실시간 추론 속도를 희생시키지 않고도 소형 3D 객체 검출 정확도를 향상시키는 데 효과적인지 검증한다.
• FE 레이어가 고역통과 필터처럼 작용하여 특징 맵의 대비와 세부 정보를 향상시켜 소형 또는 희박한 인스턴스를 더 잘 구분할 수 있도록 한다는 것을 입증한다.

제안 방법

• S-AT GCN는 점 클러스터 내 점 간의 국소 기하학적 관계를 모델링하기 위해 그래프 컨볼루션을 활용하며, 단순한 풀링을 넘어서 구조적 특징을 포착한다.
• 공간주의 주의 메커니즘을 도입하여, 정점 쌍 간의 유클리드 거리에 기반해 주의 가중치를 계산함으로써 가까운 관련 점들을 강조한다.
• 주의 메커니즘이 그래프 컨볼루션 이전에 적용되어 특징을 동적으로 재가중함으로써 국소 활성화를 보장하고 세밀한 기하학적 세부 정보를 유지한다.
• S-AT GCN는 PointPillars의 피리어드 특징 추출 후 바로 이어지는 계층적으로 연결된 FE 레이어로 스택되며, 이후 검출 헤드에 들어가는 특징 맵을 강화한다.
• 그래프 구축에 k=9개의 이웃을 사용하고, 계산 비용을 줄이기 위해 주의 메커니즘에 차원 감소를 통합한다.
• FE 레이어는 PointPillars에 통합되어 희박한 베이드의이뷰 특징 맵을 더 구분력 있는 표현으로 전환하며, 국소 대비를 향상시킨다.

실험 결과

연구 질문

• RQ1 파artition 기반 3D 검출 방법에서의 분할 연산이 소형 및 희박한 객체에서 성능을 어떻게 저하시키는가?
• RQ2 특화된 기능 강화(FE) 레이어가 3D 객체 검출에서 분할 효과를 어느 정도 완화할 수 있는가?
• RQ3 공간주의 주의를 갖춘 그래프 컨볼루션 네트워크가 분할 과정에서 손실된 국소 기하학적 구조 세부 정보를 효과적으로 복원할 수 있는가?
• RQ4 제안된 S-AT GCN는 표준 컨볼루션 또는 주의만을 사용하는 모듈과 비교해 복잡한 특징 표현을 향상시키는 데 얼마나 효과적인가?
• RQ5 PointPillars와 같은 최첨단 검출기에 FE 레이어를 통합했을 때의 추론 속도와 실시간 성능 영향은 어떠한가?

주요 결과

• S-AT GCN 기반 FE 레이어는 KITTI 데이터셋에서 보행자 3D mAP를 3.62% 향상시키고 자전거 기사 mAP를 4.21% 향상시켜 소형 객체에 대한 뚜렷한 성과 향상을 보였다.
• FE 레이어 추가로 거짓 양성 검출이 감소하였으며, 특히 보행자로 잘못 분류되는 소형 또는 모호한 객체(예: 교통 표지)에서 두드러졌다.
• FE 레이어는 고역통과 필터처럼 작용하여 특징 맵의 국소 대비를 향상시키며 배경 노이즈를 억제하고 구조적 세부 정보를 유지한다.
• 메서드는 실시간 추론을 유지하여 단일 NVIDIA RTX 3090에서 48 FPS를 달성하여 자율 주행 시스템의 실시간 요구 조건을 충족시켰다.
• 차원 감소를 통한 자기 주의(self-attention)는 자전거 기사에 대해 2–3% 향상시키고 보행자에 대해서는 1% 향상시켜 주의 메커니즘이 특징 정제에 있어 가치가 있음을 보여주었다.
• FE 레이어의 수는 성능에 미미한 영향을 미치며, 3개 레이어로 충분하고 안정적이므로 FE 스택의 깊이에 대해 강건함을 시사한다.