[논문 리뷰] TANet: Robust 3D Object Detection from Point Clouds with Triple Attention

Zhe Liu, Xin Zhao외 4명|arXiv (Cornell University)|2019. 12. 11.

Advanced Neural Network Applications참고 문헌 31인용 수 29

한 줄 요약

TANet는 삼중 주의(Trilateral Attention, TA) 모듈과 군집에서 세분으로의 회귀(Coarse-to-Fine Regression, CFR)를 통해 노이즈가 많고 도전적인 상황에서도 강건성을 향상시키는 포인트 클라우드를 위한 새로운 3D 객체 검출 프레임워크를 제안한다. TA 모듈은 채널별, 포인트별, 볼록체별 주의를 동시에 모델링하여 노이즈를 억제하고 특징을 강조하며, CFR는 융합된 다층 특징을 사용해 경계 상자(Bounding Box)를 정밀하게 보정한다. KITTI 벤치마크에서 TANet는 최상위 성능을 기록했으며, 보행자 클래스에서 1위를 차지하고, 29 FPS의 추론 속도로 노이즈가 많은 조건에서도 기존 방법들을 크게 앞서며 뛰어난 성능을 보였다.

ABSTRACT

In this paper, we focus on exploring the robustness of the 3D object detection in point clouds, which has been rarely discussed in existing approaches. We observe two crucial phenomena: 1) the detection accuracy of the hard objects, e.g., Pedestrians, is unsatisfactory, 2) when adding additional noise points, the performance of existing approaches decreases rapidly. To alleviate these problems, a novel TANet is introduced in this paper, which mainly contains a Triple Attention (TA) module, and a Coarse-to-Fine Regression (CFR) module. By considering the channel-wise, point-wise and voxel-wise attention jointly, the TA module enhances the crucial information of the target while suppresses the unstable cloud points. Besides, the novel stacked TA further exploits the multi-level feature attention. In addition, the CFR module boosts the accuracy of localization without excessive computation cost. Experimental results on the validation set of KITTI dataset demonstrate that, in the challenging noisy cases, i.e., adding additional random noisy points around each object,the presented approach goes far beyond state-of-the-art approaches. Furthermore, for the 3D object detection task of the KITTI benchmark, our approach ranks the first place on Pedestrian class, by using the point clouds as the only input. The running speed is around 29 frames per second.

연구 동기 및 목표

• 노이즈가 많고 도전적인 조건에서 포인트 클라우드의 3D 객체 검출의 강건성을 향상시키며, 특히 검출이 어려운 객체인 보행자와 같은 대상에 초점을 맞춘다.
• 희박한 포인트 클라우드와 배경 간섭으로 인해 크기가 작은, 혼잡한 객체의 검출 정확도가 떨어지는 문제를 해결한다.
• 실세계 LiDAR 데이터에 추가된 무작위 노이즈 포인트로 인한 성능 저하를 줄인다.
• 과도한 계산 비용 없이도 높은 정확도를 유지할 수 있는 경량이고 효율적인 검출 프레임워크를 개발한다.

제안 방법

• 삼중 주의(Trilateral Attention, TA) 모듈은 채널별, 포인트별, 볼록체별 주의를 동시에 모델링하여 특징의 구분 능력을 향상시키고 불안정하거나 노이즈가 많은 포인트를 억제한다.
• TA 모듈은 공간(포인트별) 주의와 채널별 주의를 요소별 곱셈으로 융합한 후, 볼록체별 주의를 적용하여 전반적인 맥락을 포착한다.
• 다양한 수신장(Receptive Field)을 가진 다층 특징 표현을 추출하기 위해 스택형 TA 메커니즘을 도입한다.
• 군집에서 세분으로의 회귀(Coarse-to-Fine Regression, CFR) 모듈은 먼저 군집 경계 상자 예측을 생성한 후, 다층 특징 맵의 피라미드 샘플링 융합(Pyramid Sampling Aggregation, PSA)을 통해 이를 정밀하게 보정한다.
• PSA 모듈은 다중 레이어의 특징을 융합하여 계층적 맥락 정보를 활용함으로써 정위치 정확도를 향상시킨다.
• 전체 네트워크는 엔드 투 엔드로 훈련 가능하며, KITTI 데이터셋에서 약 29 FPS의 추론 속도를 제공한다.

실험 결과

연구 질문

• RQ1 노이즈가 많은 3D 포인트 클라우드에서 특징 표현을 향상시키기 위해 주의 메커니즘을 어떻게 통합 설계할 수 있는가?
• RQ2 계산 비용을 증가시키지 않으면서도 군집에서 세분으로의 회귀 전략이 정위치 정확도를 향상시킬 수 있는가?
• RQ3 볼록체별 주의의 통합이 무작위 노이즈 포인트 존재 조건에서 강건성을 어떻게 향상시키는가?
• RQ4 제안된 주의 및 회귀 아키텍처는 도전적이고 노이즈가 많은 검출 환경에서 기존 최상위 성능(SOTA) 방법들을 얼마나 뛰어나게 성능을 높이는가?

주요 결과

• TANet는 100개의 노이즈 포인트가 포함된 KITTI 검증 세트에서 3D mAP 67.79%를 기록했으며, 베이스라인(65.59%) 및 다른 주의 조합보다 뚜렷하게 뛰어난 성능을 보였다.
• 포인트별 및 채널별 주의의 제안된 PACA 융합 방식은 67.38%의 mAP를 기록했으며, 연결(concatenation) 및 순차적 융합 방법보다 우수한 성능을 보였다.
• TA 모듈을 통한 볼록체별 주의 통합은 mAP를 67.79%까지 끌어올려 다수 수준의 주의 융합의 효과를 입증했다.
• TA 모듈과 함께 PSA 모듈을 통합할 경우, mAP가 2.1% 향상되어 상호 보완성이 뚜렷하게 드러났다.
• TA와 PSA를 모두 적용한 결과, 69.35%의 mAP를 기록했으며, RefineDet 및 베이스라인 모델보다 뚜렷하게 뛰어난 성능을 보였다.
• KITTI 벤치마크에서 TANet는 보행자 클래스에서 1위를 차지하며 58.43%의 mAP를 기록했으며, 어려운 객체 검출에 있어 뛰어난 강건성을 입증했다.