[논문 리뷰] Temporal-Channel Transformer for 3D Lidar-Based Video Object Detection in Autonomous Driving

Zhenxun Yuan, Xiao Song외 4명|arXiv (Cornell University)|2020. 11. 27.

Advanced Optical Sensing Technologies참고 문헌 37인용 수 6

한 줄 요약

이 논문은 3D LiDAR 영상 데이터에서 공간적, 시간적, 채널별 상관관계를 모델링하여 단일 프레임 객체 검출 성능을 향상시키는 새로운 트랜스포머 아키텍처인 Temporal-Channel Transformer(TCTR)을 제안한다. 인코더는 다중 프레임, 다중 채널 특징을 인코딩하고, 디코더는 게이트형 보완 모듈을 통해 현재 프레임의 복셀 수준 표현을 복원함으로써, nuScenes 벤치마크에서 기존 최고 성능(SOTA) 기준 50.47 mAP를 달성하여 단일 프레임 기준 7.4 mAP, 다중 프레임 기준 5.1 mAP 향상된 성능을 기록한다.

ABSTRACT

The strong demand of autonomous driving in the industry has lead to strong interest in 3D object detection and resulted in many excellent 3D object detection algorithms. However, the vast majority of algorithms only model single-frame data, ignoring the temporal information of the sequence of data. In this work, we propose a new transformer, called Temporal-Channel Transformer, to model the spatial-temporal domain and channel domain relationships for video object detecting from Lidar data. As a special design of this transformer, the information encoded in the encoder is different from that in the decoder, i.e. the encoder encodes temporal-channel information of multiple frames while the decoder decodes the spatial-channel information for the current frame in a voxel-wise manner. Specifically, the temporal-channel encoder of the transformer is designed to encode the information of different channels and frames by utilizing the correlation among features from different channels and frames. On the other hand, the spatial decoder of the transformer will decode the information for each location of the current frame. Before conducting the object detection with detection head, the gate mechanism is deployed for re-calibrating the features of current frame, which filters out the object irrelevant information by repetitively refine the representation of target frame along with the up-sampling process. Experimental results show that we achieve the state-of-the-art performance in grid voxel-based 3D object detection on the nuScenes benchmark.

연구 동기 및 목표

• 자율주행 환경에서 희박한 3D LiDAR 포인트 클라우드 문제를 극복하기 위해 인접 프레임의 시간적 맥락을 활용한다.
• 다수의 LiDAR 프레임을 통해 복잡한 공간적, 시간적, 채널별 상관관계를 모델링하여 검출 정확도를 향상시킨다.
• 학습 가능한 게이팅 메커니즘을 통해 객체와 관련 없는 정보를 걸러내어 특징 표현을 보완한다.
• 복셀 수준의 어텐션 메커니즘을 활용해 현재 프레임에 대해 고밀도이자 정밀하고 맥락 기반으로 강화된 특징 맵을 얻는다.

제안 방법

• Temporal-Channel Transformer(TCTR)는 독특한 인코더-디코더 아키텍처를 사용한다: 인코더는 다중 프레임, 다중 채널 특징을 처리하여 프레임 간 및 채널 간 상관관계를 포착한다.
• 디코더는 시간과 채널을 통해 관련 특징에 주목함으로써 현재 프레임의 고밀도 복셀 수준 표현을 재구성한다.
• 압축된 입력 프레임의 각 채널은 인코더에서 별도의 토큰으로 간주되며, 타겟 프레임의 각 복셀은 디코더 쿼리로 기능한다.
• 게이트 메커니즘이 현재 프레임의 특징과 보완된 표현에 대해 재가중을 적용하여, 업샘플링 과정에서 객체와 관련 없는 정보를 선택적으로 억제한다.
• 최대 7개의 입력 프레임에서 특징을 통합하여 타겟 프레임의 밀도와 강건성을 향상시킨다.
• 프레임 기반 3D 검출 파이프라인 내에서 작동하며, 원시 포인트 클라우드를 2D 허위 이미지로 변환하여 효율적인 처리를 가능하게 한다.

실험 결과

연구 질문

• RQ1 다수의 LiDAR 프레임 간 시간적 및 채널별 상관관계를 효과적으로 모델링하여 3D 객체 검출 성능을 향상시킬 수 있는가?
• RQ2 RNN 기반 방법(예: ConvLSTM, ConvGRU)에 비해 트랜스포머 기반 아키텍처가 LiDAR 영상에서 장거리 공간-시간 의존성을 더 잘 포착할 수 있는가?
• RQ3 게이트형 특징 보완 모듈이 관련 없는 맥락 정보를 걸러내어 검출 성능 향상에 얼마나 기여하는가?
• RQ4 입력 프레임 수가 영상 기반 3D 객체 검출 시스템의 검출 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 TCTR 모델은 nuScenes 벤치마크에서 50.47 mAP를 달성하여 새로운 최고 성능을 기록했다.
• 단일 프레임 기준 7.4 mAP, 이전 SOTA 다중 프레임 방법 기준 5.1 mAP 향상된 성능을 기록했다.
• 제거 실험 결과, 시간적 및 채널별 상관관계를 동시에 모델링하는 TC-encoder가(예: T-encoder 또는 C-encoder 무시한 방법보다) 우월함을 확인했다.
• 게이트형 특징 보완 모듈(FRM)은 50.47 mAP를 기록하여 연결(concatenation, 49.21 mAP) 및 덧셈(addition, 49.37 mAP) 통합 전략을 모두 초월했다.
• 입력 프레임 수가 늘어날수록 성능이 일관되게 향상되었으며, 7개 프레임 기준 44.68 mAP를 기록하여 더 긴 맥락 집합의 가치를 입증했다.
• 모델 설계가 객체 관련 표현을 강화하면서도, 관련 없는 환경적 특징에서 유발되는 노이즈를 효과적으로 감소시킴을 확인했다.