[논문 리뷰] Depth CNNs for RGB-D scene recognition: learning from scratch better than transferring from RGB-CNNs

Xinhang Song, Luis Herranz외 1명|arXiv (Cornell University)|2018. 01. 21.

Advanced Vision and Imaging인용 수 43

한 줄 요약

이 논문은 약한 감독 patches로부터 학습한 깊이 특징과 깊이 집중 CNN이 RGB-D 장면 인식에서 RGB CNN의 전이 및 미세 조정을 능가하여 NYU2와 SUN RGB-D에서 최첨단 성능을 달성한다.

ABSTRACT

Scene recognition with RGB images has been extensively studied and has reached very remarkable recognition levels, thanks to convolutional neural networks (CNN) and large scene datasets. In contrast, current RGB-D scene data is much more limited, so often leverages RGB large datasets, by transferring pretrained RGB CNN models and fine-tuning with the target RGB-D dataset. However, we show that this approach has the limitation of hardly reaching bottom layers, which is key to learn modality-specific features. In contrast, we focus on the bottom layers, and propose an alternative strategy to learn depth features combining local weakly supervised training from patches followed by global fine tuning with images. This strategy is capable of learning very discriminative depth-specific features with limited depth images, without resorting to Places-CNN. In addition we propose a modified CNN architecture to further match the complexity of the model and the amount of data available. For RGB-D scene recognition, depth and RGB features are combined by projecting them in a common space and further leaning a multilayer classifier, which is jointly optimized in an end-to-end network. Our framework achieves state-of-the-art accuracy on NYU2 and SUN RGB-D in both depth only and combined RGB-D data.

연구 동기 및 목표

• RGB-D 장면 인식의 한계인 깊이 데이터의 제한과 RGB 데이터 간 모달리티 차이에 대한 도전 과제 동기화.
• RGB에서 깊이로의 인터-모달 전이에서 하위 층의 중요성 조사.
• 약하게 감독된, 패치 기반 사전학습 및 깊이 특화 CNN 아키텍처 제안.
• 깊이와 RGB 특징을 공유 공간에서 융합하는 엔드투엔드 RGB-D-CNN 개발.

제안 방법

• 깊이 데이터에 대한 최상위 층 대 하위 층을 겨냥한 미세 조정 전략 비교 및 하위 층이 깊이 전이에 결정적임 입증.
• Places-CNN에 의존하지 않고 패치 기반 약 supervised pretraining (WSP) 도입으로 깊이 CNN 초기화.
• 매개변수 수 관리를 위한 커널 감소와 세 개의 공간 피라미드 풀링 층이 포함된 컴팩트한 깊이-CNN (D-CNN) 제안.
• RGB-Depth-CNN을 훈련시키며 RGB와 깊이 특징을 공통 공간으로 투영하는 융합층을 포함한 엔드투엔드 학습.
• SUN RGB-D와 NYUD2에서 선형 SVM(가중치 SVM 포함)으로 평가하며 ablations 및 RGB 기반 baselines과 비교.

실험 결과

연구 질문

• RQ1 RGB에서 깊이로의 전이 학습이 하위 계층 표현을 깊이 데이터에 효과적으로 적응시킬 수 있는가?
• RQ2 약한 감독으로 처음부터 깊이 특화 CNN을 학습시키는 것이 RGB 모델의 전이보다 더 좋은 깊이 특징을 낼까?
• RQ3 공동으로 학습된 RGB-D 융합 네트워크는 RGB-D 장면 인식에서 단일 모달 네트에 비해 어떤 성능을 보이는가?
• RQ4 제한된 샘플로 깊이 데이터에 유익한 아키텍처 조정(커널 크기, 풀링, SPP)은 무엇인가?

주요 결과

• 깊이 데이터에서 상위 층만 미세 조정하는 것은 비효과적; 하위 층 미세 조정은 상당한 이점을 준다.
• 패치 기반 약 감독으로 처음부터 깊이 모델을 학습시키는 것이 전체 이미지 학습에 비해 깊이 특징을 크게 개선한다.
• 스케일된 커널과 SPP를 가진 제안된 D-CNN은 깊이 전용 성능이 강하고 Places-CNN 기반 전이 baselines를 능가한다.
• RGB-D-CNN 융합 네트워크가 SUN RGB-D 및 NYUD2에서 분리된 RGB 및 깊이 파이프라인보다 우수하다.
• 깊이 데이터로 직접 학습된 깊이 특징은 전이된 RGB 특징보다 더 구별력이 있고 RGB 특징과 보완적이다.