[논문 리뷰] Depth-Adapted CNNs for RGB-D Semantic Segmentation

Zongwei Wu, Guillaume Allibert외 3명|arXiv (Cornell University)|2022. 06. 08.

Industrial Vision Systems and Defect Detection인용 수 7

한 줄 요약

이 논문은 깊이 정보를 RGB 컨볼루션 네트워크에 직접 통합하여 기하학적 인식 샘플링 위치를 학습하는 새로운 깊이 적응형 컨볼루션 네트워크 프레임워크인 Z-ACN을 제안한다. 표준 컨볼루션과 평균 풀링을 3D 평면 정렬 기반으로 수신장 영역을 재구성하는 깊이 적응형 연산자로 대체함으로써, 실내 및 실외 RGB-D 벤치마크에서 세분화 정확도를 향상시키며, 최소한의 계산 오버헤드로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recent RGB-D semantic segmentation has motivated research interest thanks to the accessibility of complementary modalities from the input side. Existing works often adopt a two-stream architecture that processes photometric and geometric information in parallel, with few methods explicitly leveraging the contribution of depth cues to adjust the sampling position on RGB images. In this paper, we propose a novel framework to incorporate the depth information in the RGB convolutional neural network (CNN), termed Z-ACN (Depth-Adapted CNN). Specifically, our Z-ACN generates a 2D depth-adapted offset which is fully constrained by low-level features to guide the feature extraction on RGB images. With the generated offset, we introduce two intuitive and effective operations to replace basic CNN operators: depth-adapted convolution and depth-adapted average pooling. Extensive experiments on both indoor and outdoor semantic segmentation tasks demonstrate the effectiveness of our approach.

연구 동기 및 목표

• 기존의 이중 스트림 및 이른 융합 RGB-D 네트워크가 기능 추출 과정에서 깊이 신호를 효과적으로 활용하지 못하는 한계를 해결하기 위해.
• RGB 기능 추출 과정에서 깊이 정보를 명시적으로 활용하여 공간 샘플링을 안내함으로써 맥락 인식 능력을 향상시키기 위해.
• 기존의 CNN 연산을 대체하면서도 사전 훈련된 모델과의 호환성을 유지하는 깊이 적응형 연산자를 도입하기 위해.
• 내재 카메라 파라미터의 변동이나 실제 세계의 깊이 정확도 부족에 대한 방법의 강인성을 검증하기 위해.
• 다양한 실내 및 실외 데이터셋에 걸쳐 일반화 성능을 입증하고 강력한 성능 향상을 보여주기 위해.

제안 방법

• 중심 픽셀과 동일한 3D 평면을 공유하는 픽셀을 선택하여 수신장 영역을 재정의하는 깊이 적응형 컨볼루션(Z-Conv)을 제안하며, 깊이 및 카메라 파라미터를 사용해 2차원 오프셋을 계산한다.
• 정규 격자 이웃이 아닌 기하학적으로 일관된 영역을 기반으로 평균을 계산하는 깊이 적응형 평균 풀링(Z-AvgPool)을 도입한다.
• 저수준의 깊이 특징을 사용해 샘플링을 안내하는 공간 오프셋 맵을 생성함으로써 특징 맵 전반에 걸친 기하학적 일관성을 확보한다.
• 깊이 및 카메라 내재 매개변수에 의해 완전히 제약을 받는 가중치 학습 가능한 오프셋 생성 모듈을 사용하여 엔드 투 엔드 훈련이 가능하도록 한다.
• VGG 및 ResNet 인코더 양쪽에 이 연산자를 적용하여, 최소한의 수정으로 기존 CNN 아키텍처에 통합 가능하도록 한다.
• 사전 훈련된 ImageNet 가중치에서부터 미세조정하는 것과 동시에, 전체에서부터 훈련함으로써 이식 가능성과 강인성을 입증한다.

실험 결과

연구 질문

• RQ1 추가 파rameter 없이 깊이 정보를 RGB CNN의 공간 샘플링을 안내하는 데 효과적으로 활용할 수 있는가?
• RQ2 표준 컨볼루션과 풀링을 깊이 적응형 연산자로 대체함으로써 RGB-D 데이터에서 세분화 정확도가 향상되는가?
• RQ3 내재 카메라 파라미터의 정확도 부족이나 깊이 추정 오류에 대해 이 방법이 얼마나 강인한가?
• RQ4 깊이 적응형 연산자가 네트워크의 다양한 깊이에서 적용되었을 때 성능 향상 정도는 어느 정도인가?
• RQ5 제안된 연산자가 사전 훈련된 ImageNet 가중치를 사용하여 효과적으로 이식 및 미세조정 가능한가?

주요 결과

• NYUv2에서 Z-ACN은 정확히 알려진 내재 파라미터를 사용할 경우 42.5% mIoU와 55.2% mAcc를 기록하며, 기준 모델(40.4% mIoU, 51.9% mAcc)을 크게 앞서며 뚜렷한 성능 향상을 보였다.
• 임의로 선택된 내재 파라미터를 사용할 경우에도 Z-ACN은 강력한 성능(41.6% mIoU, 53.4% mAcc)을 유지하여 파라미터 불확실성에 대한 강인성을 입증했다.
• 깊이가 가장 깊은 레이어의 첫 번째 컨볼루션만 Z-Conv로 대체할 경우, 전체에서부터 훈련할 때 기준 모델 대비 3.6% mIoU 향상이 이루어졌다.
• 모든 첫 번째 컨볼루션 레이어를 Z-Conv로 대체하면 기준 모델 대비 mIoU가 5.7% 향상되어 초기 기하학적 안내의 효과성을 입증했다.
• Z-AvgPool를 Z-Conv와 함께 도입하면 mIoU가 추가로 0.9% 향상되어 기하학적 풀링의 유용성을 확인했다.
• 사전 훈련된 가중치에서부터 미세조정할 경우, 가장 깊은 레이어의 첫 번째 컨볼루션만 Z-Conv로 대체하면 기준 모델 대비 mIoU가 1.8% 향상되었으며, 이는 전이 학습과의 호환성을 보여주었다.