[논문 리뷰] 3D-MAN: 3D Multi-frame Attention Network for Object Detection

Zetong Yang, Yin Zhou외 2명|arXiv (Cornell University)|2021. 03. 30.

Advanced Neural Network Applications참고 문헌 35인용 수 4

한 줄 요약

3D-MAN은 메모리 백과 다중 시야 정렬 및 집합 모듈을 사용하여 다수의 LiDAR 프레임에서 특징을 융합함으로써 3D 객체 검출을 향상시키는 3D 다중 프레임 주의망을 제안한다. 이는 웨이모 오픈 데이터셋에서 최신 기술 수준의 성능을 달성하여 16개의 입력 프레임에서 차량에 대해 74.3% AP를 기록하며, 단일 프레임 및 다중 프레임 기반선보다도 뚜렷한 성능 향상을 보였다.

ABSTRACT

3D object detection is an important module in autonomous driving and robotics. However, many existing methods focus on using single frames to perform 3D detection, and do not fully utilize information from multiple frames. In this paper, we present 3D-MAN: a 3D multi-frame attention network that effectively aggregates features from multiple perspectives and achieves state-of-the-art performance on Waymo Open Dataset. 3D-MAN first uses a novel fast single-frame detector to produce box proposals. The box proposals and their corresponding feature maps are then stored in a memory bank. We design a multi-view alignment and aggregation module, using attention networks, to extract and aggregate the temporal features stored in the memory bank. This effectively combines the features coming from different perspectives of the scene. We demonstrate the effectiveness of our approach on the large-scale complex Waymo Open Dataset, achieving state-of-the-art results compared to published single-frame and multi-frame methods.

연구 동기 및 목표

• 부분적인 LiDAR 포인트 클라우드로 인해 발생하는 단일 프레임 3D 객체 검출의 모호함을 해결하기 위해.
• 다양한 프레임에서의 시간 정보를 활용하여 부분적으로 가시하거나 빠르게 움직이는 객체의 검출 정확도를 향상시키기 위해.
• 기존의 포인트 연결 및 순환 방법보다 뛰어난 성능을 보이며, 실시간 구현이 가능한 효율적인 다중 프레임 3D 검출 프레임워크를 설계하기 위해.
• 복잡하고 대규모 자율 주행 환경에서 다수의 프레임에 걸쳐 주의 기반 특징 집합이 효과적인지 입증하기 위해.

제안 방법

• 실시간으로 고품질의 박스 제안 및 특징 맵을 생성하기 위해 빠른 단일 프레임 검출기(FSD)를 사용하며, 할당 기반 손실과 최대 풀링 NMS를 적용한다.
• 이전 프레임의 제안 및 해당 특징 맵을 메모리 백에 저장하여 시간에 따라 다중 시점 표현을 유지한다.
• 다중 시야 정렬 및 집합 모듈(MVAA)은 주의 메커니즘을 활용하여 각 타겟 제안에 대해 메모리 백에서 관련 특징을 추출한다.
• 정렬 단계에서는 타겟 제안을 쿼리로 사용해 저장된 프레임에서 특징을 검색하고, 집합 단계에서는 각 제안에 대해 프레임 간 특징을 융합한다.
• 특징 정렬 품질을 향상시키기 위해 지도된 대응 관계를 유도함으로써 주의 가중치가 실제 대응 관계를 잘 반영하도록 보조 교차 시야 손실을 도입한다.
• 자기 운동 보정을 적용하여 이전 프레임의 포인트 클라우드를 현재 프레임의 좌표계로 정렬함으로써 일관된 특징 융합을 가능하게 한다.

Figure 1: Upper row: Potential detections given LiDAR from a single frame demonstrating ambiguity between many reasonable predictions. Lower row: After merging the points aligned across 4 frames, there is more certainty for the correct box prediction.

실험 결과

연구 질문

• RQ1 다양한 LiDAR 프레임 간 주의 기반 특징 집합이 단일 프레임 또는 포인트 연결 방법에 비해 3D 객체 검출 정확도를 향상시키는가?
• RQ2 포인트 정렬 오류가 주요 과제가 되는 장시간 윈도우나 빠르게 움직이는 객체에 대해 제안된 3D-MAN 모델은 어떻게 성능을 내는가?
• RQ3 빠른 단일 프레임 검출기(FSD)에서 허그리안-매칭 기반 손실과 최대 풀링 NMS를 사용함으로써 더 높은 품질의 제안을 도출할 수 있는가?
• RQ4 보조 교차 시야 손실이 메모리 백에 저장된 다양한 프레임에서 온 특징의 정렬을 어느 정도 향상시키는가?
• RQ5 특히 도전적인 속도 범주에서 입력 프레임 수를 늘릴 경우 모델이 성능을 유지하거나 향상시킬 수 있는가?

주요 결과

• 3D-MAN은 16개의 입력 프레임을 사용할 때 웨이모 오픈 데이터셋에서 차량 검출에 대해 74.3% AP를 기록하며, 단일 프레임 기반선의 68.2% AP보다 뚜렷한 향상을 보였다.
• 4개 프레임 설정에서 포인트 연결 방법보다 2.0% AP 향상, Relation 자기 주의 방법보다 2.4% AP 향상하여 성능을 뛰어나게 했다.
• 입력 프레임 수가 많아질수록 성능이 안정적으로 향상되며, 4프레임일 때 72.5% AP에서 16프레임일 때 74.3% AP로 상승하여 시간에 따른 강력한 확장성 잠재력을 보였다.
• 빠르게 움직이는 차량에 대해서도 검출 성능이 향상되어, 1프레임일 땐 71.90%에서 16프레임일 땐 79.2%로 상승했으며, 기반선 방법은 장시간 윈도우에서 성능이 저하되는 경향을 보였다.
• 교차 시야 손실을 도입함으로써 보조 손실이 없는 경우보다 1.8% AP 향상, 대응 관계 손실보다도 1.1% AP 향상하여 특징 정렬 향상에 효과적임을 입증했다.
• FSD에서 허그리안-매칭 기반 손실이 모든 비교 감독 전략 중에서 가장 높은 AP(72.5%)를 기록하여 제안 품질 향상에서의 우수성을 입증했다.

Figure 2: Framework for 3D-MAN: 3D multi-frame attention network. Given the point cloud for a target frame $t$ , a fast single-frame detector first generates box proposals. These proposals (box parameters) with the feature map (last layer of the backbone network) are inserted into a memory bank that