[논문 리뷰] Seeing Through Fog Without Seeing Fog: Deep Sensor Fusion in the Absence of Labeled Training Data.

Mario Bijelic, Fahim Mannan외 4명|arXiv (Cornell University)|2019. 02. 24.

Advanced Neural Network Applications참고 문헌 49인용 수 26

한 줄 요약

이 논문은 농우에서 레이저 레인지, 레이더, 게이팅된 NIR 특징과 카메라 특징을 적응적으로 융합할 수 있는 단일 스텝, 엔트로피 기반의 딥 융합 네트워크를 제안한다. 이는 악성 기상 조건을 위한 레이블이 없는 훈련 데이터를 요구하지 않으며, 청정 데이터로 훈련된 모델이 새로운 대규모 다중모달 농우 데이터셋에서 뛰어난 성능을 보이며, 실제 자율주행 환경에서 흔히 발생하는 비대칭 센서 왜곡에 대해 강건성을 입증한다.

ABSTRACT

The fusion of multimodal sensor streams, such as camera, lidar, and radar measurements, plays a critical role in object detection for autonomous vehicles, which base their decision making on these inputs. While existing methods exploit redundant information in good environmental conditions, they fail in adverse weather where the sensory streams can be asymmetrically distorted. These rare edge-case scenarios are not represented in available datasets, and existing fusion architectures are not designed to handle them. To address this challenge we present a novel multimodal dataset acquired in over 10,000km of driving in northern Europe. Although this dataset is the first large multimodal dataset in adverse weather, with 100k labels for lidar, camera, radar, and gated NIR sensors, it does not facilitate training as extreme weather is rare. To this end, we present a deep fusion network for robust fusion without a large corpus of labeled training data covering all asymmetric distortions. Departing from proposal-level fusion, we propose a single-shot model that adaptively fuses features, driven by measurement entropy. We validate the proposed method, trained on clean data, on our extensive validation dataset. Code and data are available here this https URL.

연구 동기 및 목표

• 비대칭 센서 왜곡이 발생하는 악성 기상 조건, 특히 농우에 대해 레이블이 있는 훈련 데이터의 부족 문제를 해결하기 위해.
• 기존 데이터셋에서 다루지 않은 희귀한 실제 환경의 극단적 케이스에 일반화 가능한 강력한 다중모달 융합 프레임워크를 개발하기 위해.
• 풍부한 레이블이 있는 농우 데이터에 의존하지 않고도 카메라, 라이다, 레이더, 게이팅된 NIR 센서의 융합을 효과적으로 수행하기 위해.
• 다중 센서에서 10만 개의 레이블을 포함한 대규모 실생활 다중모달 농우 데이터셋을 구축하기 위해.
• 청정 데이터로만 훈련된 단일 스텝 융합 모델이 도전적인 실생활 농우 벤치마크에서 뛰어난 성능을 발휘하는지 검증하기 위해.

제안 방법

• 카메라, 라이다, 레이더, 게이팅된 NIR 센서의 특징을 통합적인 엔드 투 엔드 아키텍처에서 단일 스텝 융합 네트워크를 제안한다.
• 측정 엔트로피를 동적 가중치 메커니즘으로 활용하여 악성 기상 조건에서 각 센서 모odal의 신뢰도에 따라 중요도를 적응적으로 할당한다.
• 각 센서 입력의 불확실성(엔트로피)에 기반해 융합 가중치를 조정하는 학습 가능한 융합 모듈을 도입하여, 농우에서 더 신뢰할 수 있는 모달을 우선시한다.
• 비용이 많이 들고 희귀한 농우 레이블이 있는 예제가 필요 없이 청정한 비농우 데이터만으로 전체 네트워크를 훈련시킨다.
• 노르웨이, 스웨덴 등 북유럽 지역에서 약 10,000km에 걸쳐 수집한 새로운 대규모 데이터셋을 활용하며, 악성 기상 조건에서 다중 센서에 걸쳐 10만 개의 레이블을 포함한다.
• 비대칭 센서 성능 저하에 대한 일반화 능력을 평가하기 위해 종합적인 실생활 농우 데이터셋을 활용해 방법을 검증한다.

실험 결과

연구 질문

• RQ1 청정 데이터로만 훈련된 딥 융합 모델이 비대칭 센서 왜곡이 발생하는 농우 환경에 효과적으로 일반화될 수 있는가?
• RQ2 측정 엔트로피 기반의 적응형 융합은 악성 기상 조건에서 다중모달 인식의 강건성을 어떻게 향상시키는가?
• RQ3 단일 스텝 융합 아키텍처는 농우 환경에서 전통적인 프로포절 수준 융합에 비해 어느 정도 뛰어난 성능을 보이는가?
• RQ4 제한된 농우 레이블 예제가 있는 대규모 실생활 데이터셋에서 제안된 방법의 효과성은 어느 정도인가?
• RQ5 통합된 융합 프레임워크는 비대칭 농우 왜곡 상황에서 카메라, 라이다, 레이더, 게이팅된 NIR 등 다양한 센서 모달 간 성능을 유지할 수 있는가?

주요 결과

• 제안된 엔트로피 기반 융합 모델은 청정 데이터로만 훈련되었음에도 불구하고 실생활 농우 데이터셋에서 뛰어난 성능을 발휘하여 희귀한 악성 조건에 대한 일반화 능력을 입증한다.
• 특히 센서 입력이 비대칭적으로 손상된 경우, 기준 융합 방법에 비해 객체 검출 정확도에서 뛰어난 성능을 보였다.
• 측정 엔트로피 기반의 적응형 융합은 신뢰도가 높은 센서 모달을 효과적으로 우선시하여 저 visibility 상황에서의 강건성을 향상시킨다.
• 카메라와 같은 일부 센서가 농우로 인해 심하게 흐려져도, 라이다와 레이더와 같은 보완적 모달에 의존함으로써 높은 검출 성능을 유지한다.
• 악성 기상 조건에서 다중 센서에 걸쳐 10만 개의 레이블을 포함한 대규모 다중모달 데이터셋은 향후 극한 조건에서의 강건한 자율주행 연구를 위한 유의미한 벤치마크를 제공한다.
• 단일 스텝 아키텍처는 효율적인 추론을 가능하게 하며, 다단계 융합 파이프라인의 복잡성과 오차 전파 문제를 피한다.