[논문 리뷰] Enabling Efficient Deep Convolutional Neural Network-based Sensor Fusion for Autonomous Driving

Xiaoming Zeng, Zhendong Wang외 1명|arXiv (Cornell University)|2022. 02. 22.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 요소별 융합에서 발생하는 특징 불일치 문제를 해결함으로써 자율주행에서 딥 컨volution 신경망(DCNN) 기반 센서 융합의 성능을 향상시키기 위한 특징 매칭 프레임워크를 제안한다. 특징 불일치도 측도, 특징 매칭을 위한 Fusion-filter, 계산 비용을 줄이기 위한 Layer-sharing, 그리고 학습을 안내하기 위한 특징 불일치 손실을 도입하여 KITTI에서 최신 기술 대비 높은 정확도와 낮은 추론 오버헤드를 달성한다.

ABSTRACT

Autonomous driving demands accurate perception and safe decision-making. To achieve this, automated vehicles are now equipped with multiple sensors (e.g., camera, Lidar, etc.), enabling them to exploit complementary environmental context by fusing data from different sensing modalities. With the success of Deep Convolutional Neural Network(DCNN), the fusion between DCNNs has been proved as a promising strategy to achieve satisfactory perception accuracy. However, mainstream existing DCNN fusion schemes conduct fusion by directly element-wisely adding feature maps extracted from different modalities together at various stages, failing to consider whether the features being fused are matched or not. Therefore, we first propose a feature disparity metric to quantitatively measure the degree of feature disparity between the feature maps being fused. We then propose Fusion-filter as a feature-matching techniques to tackle the feature-mismatching issue. We also propose a Layer-sharing technique in the deep layer that can achieve better accuracy with less computational overhead. Together with the help of the feature disparity to be an additional loss, our proposed technologies enable DCNN to learn corresponding feature maps with similar characteristics and complementary visual context from different modalities to achieve better accuracy. Experimental results demonstrate that our proposed fusion technique can achieve better accuracy on KITTI dataset with less computational resources demand.

연구 동기 및 목표

• 기본적인 DCNN 기반 중간 융합에서 서로 다른 모odal의 특징 맵이 의미적 대응을 고려하지 않고 융합되는 문제를 해결하기 위해.
• 다양한 센서(예: RGB와 LiDARD)에서 온 특징 맵 간의 视覚적 특성 차이를 측정하는 새로운 지표를 사용해 특징 불일치를 정량화하기 위해.
• 요소 합산 이전에 서로 다른 모달의 특징을 정렬하는 학습 가능한 메커니즘인 Fusion-filter를 도입하여 융합 정확도를 향상시키기 위해.
• 특징 유사도에 기반해 모달 브랜치 간에 필터를 재사용함으로써 깊은 층에서 계산 오버헤드를 줄이기 위한 Layer-sharing을 제안하기 위해.
• 역전파 중에 보조 목표로 특징 불일치 손실을 통합하여 학습 안정성과 특징 정렬을 향상시키기 위해.

제안 방법

• 다양한 센서(예: RGB와 LiDAR)에서 온 특징 맵 간의 시각적 특성 차이를 정량적으로 측정하기 위해 특징 불일치(FD) 지표를 도입한다.
• 융합 이전에 서로 다른 모달의 특징을 매칭하는 학습 가능한 모듈인 Fusion-filter를 제안하며, 의미적으로 일치하는 특징들만 조합되도록 보장한다.
• 깊은 층에서 모달 브랜치 간에 컨볼루션 필터를 공유하는 Layer-sharing 아키텍처를 설계하여 모델 파라미터와 MACs를 감소시킨다.
• 융합된 특징 맵 간의 FD를 최소화하는 특징 불일치 손실을 추가 학습 목표로 도입하여 최적화 과정에서 정렬을 촉진한다.
• 스킵 연결을 통한 크로스 연결 구조를 갖춘 다단계 융합 전략을 활용하여 조기, 중간, 후기 융합의 이점을 통합한 구조적 특징 통합을 실현한다.
• 평가를 위해 KITTI 데이터셋을 사용하며, 제안된 구성 요소를 포함하거나 제외한 모델을 학습하여 정확도 및 효율성에 미치는 영향을 분리 분석한다.

실험 결과

연구 질문

• RQ1 다중 모달 특징의 요소별 융합에서 발생하는 특징 불일치가 자율주행의 인식 정확도를 떨어뜨리는가?
• RQ2 다른 감지 모달에서 온 특징 간의 불일치를 효과적으로 측정할 수 있는 정량적 특징 불일치 지표가 가능한가?
• RQ3 학습 가능한 융합 메커니즘(Fusion-filter)이 특징 매칭을 향상시켜 분할 정확도를 높일 수 있는가?
• RQ4 깊은 층에서 Layer-sharing을 통해 계산 비용을 줄일 수 있으며 정확도를 유지할 수 있는가?
• RQ5 학습 중에 특징 불일치 손실을 통합하면 특징 정렬이 향상되고 성능이 향상되는가?

주요 결과

• 제안된 특징 불일치 손실은 모델 성능을 크게 향상시키며, BaseLoss는 도전적인 UU 도로 환경에서 기준 모델을 능가하는 최고의 F-스코어를 기록했다.
• 단방향 Fusion-filter를 사용한 AllFilter_U는 세 가지 도로 환경에서 기준 모델을 모두 능가하며, 다섯 가지 지표 중 세 가지에서 상위 세 개 이내로 랭크되었다.
• 이중방향 Fusion-filter를 갖춘 AllFilter_B는 UM 및 UMM 환경에서 기준 모델보다 더 높은 정확도를 달성했으며, 더 균형 잡힌 분할 결과를 보였다.
• BaseSharing는 UMM 환경에서 모든 모델 중 가장 높은 정확도를 기록했고, 파라미터 수와 MACs 측면에서 가장 낮은 계산 비용을 기록했다.
• 동적 융합 가중치 조정 기능을 갖춘 WeightedSharing는 세 가지 도로 환경에서 모두 기준 모델을 능가했으며, 파라미터 수가 적은데도 UU 시나리오에서 세 가지 지표에서 최고 성능을 기록했다.
• 제거 실험 결과, 특징 불일치 손실을 포함해 학습된 모델이 그렇지 않은 모델보다 일관되게 뛰어난 성능을 보여, 제안된 손실의 효과를 입증했다.