[논문 리뷰] 4DenoiseNet: Adverse Weather Denoising from Adjacent Point Clouds

Alvari Seppänen, Risto Ojala외 1명|arXiv (Cornell University)|2022. 09. 15.

Remote Sensing and LiDAR Applications인용 수 5

한 줄 요약

4DenoiseNet은 인접한 LiDAR 포인트 클라우드에서 공간-시간 k-가 близ한 이웃 합성곱을 활용하여 눈, 비, dense 안개와 같은 악천후 영향을 제거하는 새로운 딥러닝 프레임워크이다. 새로운 SnowyKITTI 데이터셋과 캐나다 악천후 주행 조건 실데이터를 기반으로 검증되었으며, 교차합집합(IoU)에서 기존 최고 성능 모델 대비 10% 향상되고 도메인 이동에 대해 뛰어난 일반화 성능을 보이며 최고의 성능을 달성하였다.

ABSTRACT

Reliable point cloud data is essential for perception tasks extit{e.g.} in robotics and autonomous driving applications. Adverse weather causes a specific type of noise to light detection and ranging (LiDAR) sensor data, which degrades the quality of the point clouds significantly. To address this issue, this letter presents a novel point cloud adverse weather denoising deep learning algorithm (4DenoiseNet). Our algorithm takes advantage of the time dimension unlike deep learning adverse weather denoising methods in the literature. It performs about 10\% better in terms of intersection over union metric compared to the previous work and is more computationally efficient. These results are achieved on our novel SnowyKITTI dataset, which has over 40000 adverse weather annotated point clouds. Moreover, strong qualitative results on the Canadian Adverse Driving Conditions dataset indicate good generalizability to domain shifts and to different sensor intrinsics.

연구 동기 및 목표

• 비나 눈, 안개와 같은 공기 중 입자가 LiDAR 포인트 클라우드의 품질을 떨어뜨리는 데 기인한 심각한 문제를 해결하기 위해.
• 기후로 인한 노이즈를 제거함으로써 객체 탐지 및 주행과 같은 후속 인식 작업의 강건성과 정확도를 향상시키기 위해.
• 기존의 필터링 및 학습된 방법의 한계를 극복하기 위해 인접한 포인트 클라우드의 시간적 일관성과 공간적 구조를 활용하기 위해.
• 다양한 기상 조건과 센서 구성, 특히 도메인 이동 상황에서도 잘 작동하는 일반화된 모델을 개발하기 위해.
• 학습 및 평가를 위한 대규모 포인트 단위 레이블링이 적용된 벤치마크 데이터셋(SnowyKITTI)을 구축하기 위해.

제안 방법

• 모델은 연속된 포인트 클라우드 $\mathbf{P}^{(t)}$ 와 $\mathbf{P}^{(t-1)}$ 를 처리하여 시간적 동역학을 활용하는 이중 브랜치 인코더 아키텍처를 사용한다.
• 새로운 공간-시간 k-가까운 이웃(kNN) 합성곱 레이어가 인접 프레임 간 국소 기하학적 및 운동 패턴을 캡처한다.
• 운동 유도 주의(Motion-guided attention, MGA) 메커니즘이 운동 불일치 영역에 집중함으로써 특징 학습을 향상시킨다. 이는 노이즈를 나타내는 지표이다.
• 모델은 실제 청정 기상 LiDAR 스캔에 물리기반 기상 효과를 적용하여 생성한 반-합성 데이터를 기반으로 지도 학습 방식으로 훈련된다.
• 일반화를 향상시키기 위해 입력 특징는 $(r, x, y, z)$ 로 제한되며, 강건성 향상을 위해 강화도를 제외한다.
• 모델은 엔드 투 엔드 포인트 단위 노이즈 포인트 분류를 최적화한 후 제거하여 깨끗한 출력 포인트 클라우드를 생성한다.

실험 결과

연구 질문

• RQ1 인접한 LiDAR 포인트 클라우드에서 시간 정보를 활용하면 단일 프레임 방법 대비 악천후 노이즈 제거 정확도를 크게 향상시킬 수 있는가?
• RQ2 공간적 및 시간적 kNN-합성곱 통합이 다양한 기상 강도 및 센서 구성에 대한 강건성을 어떻게 향상시키는가?
• RQ3 반-합성 데이터로 훈련된 모델이 도메인 이동이 있는 실세계 악천후 상황에 얼마나 잘 일반화되는가?
• RQ4 훈련 시 강화도 채널을 생략하면 수직 해상도가 다른 다양한 LiDAR 센서 모델 간 일반화가 향상되는가?
• RQ5 제안된 방법이 다양한 기상 조건에서 정량적 지표와 정성적 강건성 측면에서 기존 최고 성능 모델을 능가할 수 있는가?

주요 결과

• 4DenoiseNet은 SnowyKITTI 데이터셋에서 기존 최고 성능 모델인 WeatherNet 대비 10% 높은 교차합집합(IoU) 성능을 달성하였다.
• 모델은 경미한, 중간, 강한 눈 내림 강도 전반에서 높은 성능 유지를 보였으며, 모든 조건에서 훈련된 경우 IoU 점수는 각각 0.975, 0.976, 0.977를 기록하였다.
• 제거 분석 결과, 공간적 및 시간적 kNN-합성곱 모듈이 모두 필수적임을 확인하였으며, 전체 모델은 추론 시간을 19ms로 단축시키고 최고의 IoU 성능를 기록하였다.
• 캐나다 악천후 주행 조건 데이터셋에서의 정성적 결과는 4DenoiseNet이 훈련 및 테스트 센서 간 수직 해상도 차이가 2.8배에 이르는 무거운 눈 내림 상황에서도 가려진 물체의 가시성을 효과적으로 복원함을 보여주었다.
• 훈련 시 강화도 채널을 생략함으로써 예측 불가능한 센서 내재 특성에 대한 일반화가 크게 향상되었으며, 이는 강화도 기반 편향이 도메인 이동 실패의 핵심 요인임을 시사한다.
• 모델은 예측 불가능한 기상 유형과 센서 구성에 대해서도 잘 일반화되며, 반-합성 데이터로 훈련되었음에도 불구하고 실세계 데이터에서 강력한 성능을 보이며 도메인 이동에 대한 강건성을 입증하였다.