[논문 리뷰] MAFF-Net: Filter False Positive for 3D Vehicle Detection with Multi-modal Adaptive Feature Fusion

Zehan Zhang, Ming Zhang외 5명|arXiv (Cornell University)|2020. 09. 23.

Advanced Neural Network Applications참고 문헌 41인용 수 10

한 줄 요약

이 논문은 RGB 이미지 특징과 라이다 포인트 클라우드를 함께 활용하여 오진 탐지 수를 줄이기 위해 채널 주의를 사용하는 다중 모odal 적응형 특징 융합을 적용한 엔드 투 엔드, 단계별 3D 차량 탐지 네트워크인 MAFF-Net을 제안한다. KITTI 벤치마크에서 기존의 다중 모달 방법들보다 더 빠른 추론 속도를 기록하면서도 최신 기술 수준(SOTA)의 성능을 달성하며, 참 긍정 탐지율을 유지하면서 오진 탐지 필터링을 크게 향상시킨다.

ABSTRACT

3D vehicle detection based on multi-modal fusion is an important task of many applications such as autonomous driving. Although significant progress has been made, we still observe two aspects that need to be further improvement: First, the specific gain that camera images can bring to 3D detection is seldom explored by previous works. Second, many fusion algorithms run slowly, which is essential for applications with high real-time requirements(autonomous driving). To this end, we propose an end-to-end trainable single-stage multi-modal feature adaptive network in this paper, which uses image information to effectively reduce false positive of 3D detection and has a fast detection speed. A multi-modal adaptive feature fusion module based on channel attention mechanism is proposed to enable the network to adaptively use the feature of each modal. Based on the above mechanism, two fusion technologies are proposed to adapt to different usage scenarios: PointAttentionFusion is suitable for filtering simple false positive and faster; DenseAttentionFusion is suitable for filtering more difficult false positive and has better overall performance. Experimental results on the KITTI dataset demonstrate significant improvement in filtering false positive over the approach using only point cloud data. Furthermore, the proposed method can provide competitive results and has the fastest speed compared to the published state-of-the-art multi-modal methods in the KITTI benchmark.

연구 동기 및 목표

• 3D 차량 탐지에서 RGB 이미지 특징의 효과적인 통합 부족, 특히 오진 탐지 감소를 위한 문제 해결
• 고수준의 2D 탐지 또는 세그멘테이션 작업에 의존하지 않는 빠른 엔드 투 엔드 단계별 융합 네트워크 설계
• 채널 주의를 활용한 라이다 및 이미지 특징의 적응형 융합을 통해 잡음이 많거나 모호한 이미지 영역의 간섭 최소화
• 참 긍정 탐지율을 저하시키지 않으면서도 오진 탐지 필터링을 향상시키기 위한 탐지 정확도 향상
• 기존의 다중 모달 3D 탐지 방법들에 비해 훨씬 더 빠른 추론 속도를 확보하면서도 경쟁 가능한 성능 달성

제안 방법

• MAFF-Net은 원시 RGB 및 포인트 클라우드 특징을 사용하여 엔드 투 엔드, 단계별 3D 탐지를 가능하게 하는 PointPillars 아키텍처를 확장한다.
• 채널 주의 기반의 다중 모달 적응형 특징 융합 모듈이 각 모달리티의 중요도를 학습하여 동적 융합을 가능하게 한다.
• 두 가지 융합 전략을 제안한다: 빠른 포인트 단위 융합을 위한 PointAttentionFusion (PAF); 더 복잡한 피러 단위 다중 모달 융합을 위한 DenseAttentionFusion (DAF).
• PAF는 투영된 이미지 특징을 3D 포인트 특징과 연결하고 채널별 주의를 적용하여 관련이 없는 특징을 억제한다.
• DAF는 이미지, 포인트 클라우드, 융합된 특징을 세 가지 모달리티로 간주하여 피러 간 주의를 적용하여 구분력 있는 특징을 강화한다.
• 중간 단계의 2D 탐지 또는 세그멘테이션 출력이 필요 없이 엔드 투 엔드로 학습되어 속도와 효율성을 보장한다.

실험 결과

연구 질문

• RQ1 라이다 포인트 클라우드 기반 3D 차량 탐지에서 RGB 이미지 특징을 어떻게 효과적으로 활용하여 오진 탐지 수를 줄일 수 있는가?
• RQ2 이중 단계 융합 방법과 비교해도 탐지 정확도를 유지하거나 향상시키면서도 더 빠른 추론 속도를 달성할 수 있는 단계별 엔드 투 엔드 네트워크가 가능한가?
• RQ3 어떤 융합 전략이 잡음이 많은 이미지 특징의 간섭을 최소화하는 적응형 주의 기반 특징 선택을 가능하게 하는가?
• RQ4 제안된 방법은 기존의 최신 기술 수준 다중 모달 3D 탐지 방법들과 정확도 및 추론 속도 측면에서 어떻게 비교되는가?
• RQ5 모호한 상황에서 오진 탐지 수를 크게 줄이면서도 높은 참 긍정 탐지율을 유지할 수 있는가?

주요 결과

• DenseAttentionFusion를 사용한 MAFF-Net은 KITTI 테스트 세트에서 3D 중간 평균 정확도(AP) 85.52%를 달성하여 기준 PointPillars(74.31% AP) 및 기타 다중 모달 방법들을 능가한다.
• 공개된 다중 모달 방법들 중에서 가장 빠른 추론 속도인 24.00 Hz를 기록하여 ContFuse(16.70 Hz) 및 MV3D(2.80 Hz)와는 뚜렷한 격차를 보인다.
• KITTI 테스트 세트에서 다중 모달 방법 중 3D 중간 범주에서 2위, 3D 쉬움 범주에서 1위를 기록하여 경쟁력 있는 성능을 입증한다.
• 정성적 결과 분석을 통해 MAFF-Net은 나무 덩어리나 차량과 유사하게 보이는 fencing 유사 구조물과 같은 도전적인 케이스에서 오진 탐지를 효과적으로 줄이는 것으로 확인되었다.
• 최적의 PointPillars 기준 모델이 아닌 경우에도 MAFF-Net은 3D 중간 AP에서 1.9% 높은 성능를 기록하여 강력한 내재성과 일반화 능력을 보여준다.
• 시각화 결과 주의 모듈이 배경 및 모호한 영역을 억제하고 융합된 포인트 클라우드 특징에서 차량 형태 특징을 강화함을 확인하였다.