[논문 리뷰] Sparse and Dense Data with CNNs: Depth Completion and Semantic Segmentation

Maximilian Jaritz, Raoul de Charette외 3명|HAL (Le Centre pour la Communication Scientifique Directe)|2018. 08. 02.

Advanced Vision and Imaging참고 문헌 25인용 수 16

한 줄 요약

이 논문은 기존의 유효성 마스크가 필요로 하지 않는 수정된 NASNet 아키텍처와 희소 학습 전략을 활용하여, 밀도 있는 RGB 입력이 있거나 없더라도 희소 깊이 데이터를 기반으로 깊이 보완 및 의미 분할을 수행하는 새로운 CNN 기반 방법을 제안한다. 이 방법은 Kitti 깊이 보완 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 초희소(0.8% 밀도) 조건에서도 우수한 성능을 보이며, 희소 깊이와 RGB 데이터의 효과적인 융합을 입증한다.

ABSTRACT

Convolutional neural networks are designed for dense data, but vision data is often sparse (stereo depth, point clouds, pen stroke, etc.). We present a method to handle sparse depth data with optional dense RGB, and accomplish depth completion and semantic segmentation changing only the last layer. Our proposal efficiently learns sparse features without the need of an additional validity mask. We show how to ensure network robustness to varying input sparsities. Our method even works with densities as low as 0.8% (8 layer lidar), and outperforms all published state-of-the-art on the Kitti depth completion benchmark.

연구 동기 및 목표

• 표준 CNN이 밀도 있는 입력을 위해 설계되어 있지만, LiDAR, 스테레오, 포인트 클라우드에서 흔히 발생하는 희소 깊이 데이터를 처리하는 데 도전하는 것.
• 기존의 희소 CNN이 명시적인 유효성 마스크가 필요로 하는 한계를 극복하기 위해, 네트워크가 희소성에 강인한 특징을 자율적으로 학습할 수 있도록 하는 것.
• 사전에 밀도 있는 깊이 맵을 생성하지 않고도, 희소 깊이와 밀도 있는 RGB 데이터의 효과적인 융합을 통해 깊이 보완 및 의미 분할을 수행하는 것.
• 초기기의 밀도(예: 8층 라이다, 0.8% 픽셀 밀도)를 포함한 다양한 입력 희소성 수준에서도 견고한 성능을 달성하는 것.
• 최소한의 아키텍처 수정으로도 다양한 비전 작업에 적용 가능한 일반적이고 경량이며 효과적인 희소 데이터 처리 프레임워크를 구축하는 것.

제안 방법

• 최적화된 NASNet 인코더-디코더 아키텍처를 최소한의 수정으로 희소 입력을 처리할 수 있도록 적응시키며, 작업에 맞는 출력을 위해 최종 레이어를 교체한다(깊이 회귀 또는 의미 분할).
• 명시적인 유효성 마스크 입력 없이도 누락된 데이터에 대해 강인한 특징을 학습할 수 있도록, 희소 학습 전략을 구현한다.
• 디코더 단계에서 밀도 있는 RGB와 희소 깊이 특징을 병합함으로써 후기 융합(late fusion)을 구현하여, 네트워크가 양 모odal 간의 공동 추론을 수행할 수 있도록 한다.
• 표준 손실 함수를 사용하여 네트워크를 학습한다: 깊이 보완에는 평균 절대 오차(MAE), 의미 분할에는 교차 엔트로피 손실을 사용한다.
• 훈련 및 추론 시 일관된 희소성 분포를 유지함으로써, 구조적, 패치형, 균일한 희소성 패턴 등 다양한 희소성 패턴에 대한 일반화를 확보한다.
• 전치 합성곱을 피하고 스킵 연결 및 확장된 합성곱을 활용함으로써, 가장자리의 날카움과 공간적 세부 정보를 유지한다.

실험 결과

연구 질문

• RQ1 표준 CNN이 명시적인 유효성 마스크나 특수한 희소 합성곱 연산을 요구하지 않고도 희소 깊이 데이터를 견고하게 처리할 수 있는가?
• RQ2 입력 희소성이 감소함에 따라 깊이 보완 및 의미 분할 성능가 어떻게 저하되며, 초희소 밀도(예: 0.8%)에서도 이 방법이 효과적으로 작동할 수 있는가?
• RQ3 후기 융합 방식(희소 깊이 + 밀도 있는 RGB)이 조기 융합 또는 RGB 전용 기준선 대비 의미 분할 정확도를 향상시키는가?
• RQ4 동일한 네트워크 아키텍처와 학습 전략을 깊이 보완 및 의미 분할 등 다양한 작업에 대해 최소한의 최종 레이어 수정만으로 효과적으로 재사용할 수 있는가?
• RQ5 재학습 없이도, LiDAR에서 유래한 구조적 희소성, 스테레오에서 유래한 패치형 희소성, 합성 데이터에서 유래한 균일한 희소성 등 다양한 희소성 패턴에 대해 이 방법이 견고한가?

주요 결과

• 제안된 방법은 Kitti 깊이 보완 벤치마크에서 모든 공개된 최신 기술 수준(SOTA) 방법을 능가하며, 새로운 SOTA 성능을 달성한다.
• 8층 라이다 입력(0.8% 픽셀 밀도) 조건에서도 고해상도의 시각적으로 타당하고 날카로운 깊이 맵을 생성하여 높은 품질의 깊이 보완을 달성한다.
• Synthia 데이터셋에서 후기 융합을 통해 의미 분할의 평균 IoU가 70.74%에 도달하였으며, RGB 전용 기준선(63.47%)과 조기 융합(65.68%)보다 유의미하게 높았다.
• Cityscapes 데이터셋에서는 후기 융합을 통해 57.82%의 평균 IoU를 달성하여 RGB 전용 기준선(50.13%)을 뛰어넘었으며, 실제 스테레오 깊이 데이터에 대해서도 견고함을 입증했다.
• 명시적인 마스크 없이도 네트워크가 희소성을 암묵적으로 처리함을 입증하여, 적절한 훈련을 통해 표준 CNN이 희소 입력에 효과적으로 적응할 수 있음을 보였다.
• 정성적 결과에서는, 큰 영역에서 데이터가 누락된 경우에도 세부 정보와 날카로운 가장자리를 잘 유지하며, 차선 표시선, 건물 등의 구조를 정확히 재구성함을 확인할 수 있었다.