[논문 리뷰] Depth-aware CNN for RGB-D Segmentation

Weiyue Wang, Ulrich Neumann|arXiv (Cornell University)|2018. 03. 19.

Advanced Neural Network Applications참고 문헌 35인용 수 18

한 줄 요약

이 논문은 깊이 이미지에서 3차원 기하 정보를 통합하기 위해 깊이 인식 컨볼루션과 깊이 인식 평균 풀링을 도입한 경량 프레임워크인 Depth-aware CNN을 제안한다. 깊이 유사도 기반으로 특징 전파를 가중치 조정함으로써, 파rameter나 계산 비용을 추가하지 않고도 RGB-D 세그멘테이션 정확도를 향상시킨다. NYUv2에서 27.8%의 mIoU와 44.9%의 fwIoU를 기록하며 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Convolutional neural networks (CNN) are limited by the lack of capability to handle geometric information due to the fixed grid kernel structure. The availability of depth data enables progress in RGB-D semantic segmentation with CNNs. State-of-the-art methods either use depth as additional images or process spatial information in 3D volumes or point clouds. These methods suffer from high computation and memory cost. To address these issues, we present Depth-aware CNN by introducing two intuitive, flexible and effective operations: depth-aware convolution and depth-aware average pooling. By leveraging depth similarity between pixels in the process of information propagation, geometry is seamlessly incorporated into CNN. Without introducing any additional parameters, both operators can be easily integrated into existing CNNs. Extensive experiments and ablation studies on challenging RGB-D semantic segmentation benchmarks validate the effectiveness and flexibility of our approach.

연구 동기 및 목표

• 고정된 격자 커널 구조로 인해 기하학적 변동성을 적절히 모델링하지 못하는 표준 CNN의 한계를 해결하기 위해.
• 2D CNN에 깊이 이미지에서 유래한 3차원 기하 정보를 효율적으로 통합하여 RGB-D 세그멘테이션 성능을 향상시키기 위해.
• 표준 CNN의 효율성을 유지하면서 깊이 유사도를 활용해 특징 전파를 향상시키는 방법을 개발하기 위해.
• 모델 파rameter와 계산 비용을 두 배로 증가시키는 고비용의 3D 네트워크나 이중 스트림 아키텍처가 필요 없도록 하기 위해.

제안 방법

• 표준 컨볼루션을 수정하여 커널 중심과 인접 픽셀 간의 깊이 유사도에 기반해 특징 기여도를 가중치 조정하는 깊이 인식 컨볼루션을 도입한다.
• 컨볼루션 커널에 깊이 유사도 항목을 적용하여 깊이 인식 수신 영역을 형성함으로써 기하학적 구조가 정보 흐름을 안내할 수 있도록 한다.
• 깊이 기반 쌍별 유사도를 사용해 局소 특징 평균을 계산하는 깊이 인식 평균 풀링을 제안함으로써 기하학적 인식 특징 집합을 가능하게 한다.
• 깊이 유사도 함수 $ F_{\mathbf{D}}(\mathbf{p}_i, \mathbf{p}_j) $ 를 사용하여 깊이가 유사한 픽셀에 더 높은 가중치를 할당하며, $ |\mathbf{D}(\mathbf{p}_i) - \mathbf{D}(\mathbf{p}_j)| < 1 $ 이면 1, 그 외에는 0으로 정의된다.
• 기존 CNN에 두 연산자를 최소한의 수정으로 통합하여 표준 컨볼루션 및 풀링 레이어를 교체함으로써 추가 파rameter 없이 구현한다.
• 깊이 유사도의 영향력을 제어하기 위해 학습 가능한 스케일링 파ram터 $ \alpha $ 를 사용하며, 추론 실험 결과 최적의 성능는 $ \alpha = 8.3 $ 에서 달성된다.

실험 결과

연구 질문

• RQ1 모델 복잡도를 증가시키지 않고도 깊이 유사도를 효과적으로 활용해 2D CNN 내 특징 전파를 안내할 수 있는가?
• RQ2 깊이 이미지에서 유도된 기하학적 구조를 통합할 경우, 표준 CNN에 비해 세그멘테이션 성능이 어떻게 향상되는가?
• RQ3 깊이 인식 연산이 정확도, 효율성, 파ram터 효율성 측면에서 이중 스트림 또는 3D 체적 네트워크를 초월할 수 있는가?
• RQ4 RGB-D 세그멘테이션에서 기하학적 특징와 시각적 특징의 균형을 맞추기 위한 최적의 깊이 유사도 함수와 스케일링 요소 $ \alpha $ 는 무엇인가?

주요 결과

• Depth-aware CNN은 NYUv2 테스트 세트에서 평균 교차율(mIoU) 27.8%를 달성하여 베이스라인(15.9%)과 HHA 방법(21.9%)을 모두 초월한다.
• 이 방법은 주파수 가중 IoU(fwIoU) 44.9%를 기록하며, 베이스라인(34.2%)을 초월하고 더 복잡한 이중 스트림 네트워크의 성능에 가까이 접근한다.
• 파aram터 $ \alpha = 8.3 $ 일 때 모델은 최고의 mIoU 27.8%를 달성하여 중간 정도의 깊이 유사도 가중치가 최적의 성능를 이끌어낸다.
• 추론 실험 결과 깊이 민감도 항목을 사용할 경우 성능 향상이 뚜렷하게 나타나, 클리핑된 $ F_{\mathbf{D}} $ 변형조차도 베이스라인을 능가한다.
• 학습을 처음부터 시작할 때, D-CNN은 NYUv2 데이터셋에서 시간이 지남에 따라 더 낮은 훈련 손실 값을 기록하며 베이스라인보다 더 빠르게 수렴한다.
• 런타임 분석 결과 D-CNN은 1회 순방향 전파에 39.3ms가 소요되며, 3D CNN 기반 방법 [4]의 214ms보다 훨씬 빠르며, 파aram터 수도 47.0M에 불과하다.