[논문 리뷰] Estimated Depth Map Helps Image Classification

Yihui He|arXiv (Cornell University)|2017. 09. 20.

Advanced Vision and Imaging참고 문헌 18인용 수 11

한 줄 요약

이 논문은 사전 훈련된 깊이 추정 네트워크를 통해 생성된 추정 깊이 맵을 RGB 이미지의 추가 입력 특징으로 사용하여 이미지 분류 성능을 햖थ기 위한 방법을 제안한다. CIFAR-10에서 RGBD 데이터셋을 구성하고 RGB 및 RGBD 입력 모두에서 훈련함으로써, 저자들은 깊이 맵이 훨씬 더 우수한 특징 표현을 제공하며, ResNet-20의 정확도를 0.55% 향상시키고 ResNet-56의 정확도를 0.53% 향상시킴으로써 浅층 및 깊이 있는 네트워크에서 일관된 성능 향상을 보여주었다.

ABSTRACT

We consider image classification with estimated depth. This problem falls into the domain of transfer learning, since we are using a model trained on a set of depth images to generate depth maps (additional features) for use in another classification problem using another disjoint set of images. It's challenging as no direct depth information is provided. Though depth estimation has been well studied, none have attempted to aid image classification with estimated depth. Therefore, we present a way of transferring domain knowledge on depth estimation to a separate image classification task over a disjoint set of train, and test data. We build a RGBD dataset based on RGB dataset and do image classification on it. Then evaluation the performance of neural networks on the RGBD dataset compared to the RGB dataset. From our experiments, the benefit is significant with shallow and deep networks. It improves ResNet-20 by 0.55% and ResNet-56 by 0.53%. Our code and dataset are available publicly.

연구 동기 및 목표

• 추정된 깊이 맵을 추가 입력 특징으로 사용할 경우 이미지 분류 성능 향상 여부를 조사하는 것.
• 깊이 추정과 이미지 분류 사이의 격차를 메우며, 깊이 맵이 이전에 적용되지 않은 도메인에 적용하는 것.
• 얕은 네트워크와 깊은 네트워크 양쪽에서 깊이 특징의 효과를 평가하는 것.
• 사전 훈련된 깊이 추정 모델에서 유도된 추정 깊이 맵을 사용하여 CIFAR-10용 공개 가능한 RGBD 데이터셋을 구축하는 것.
• 하류 분류 성능에 기반한 새로운 전이 학습 기반 평가 지표를 제안하여 깊이 추정 품질을 평가하는 것.

제안 방법

• CIFAR-10 이미지를 400×400으로 리사이징하고, 사전 훈련된 딥 컨volution 뉴럴 필드 모델을 사용해 깊이를 추정한 후, 깊이 맵을 32×32로 다운샘플링하여 RGBD 데이터셋을 구축하였다.
• 원본 RGB 채널과 추정된 깊이 맵을 결합하여 RGBD 훈련을 위한 4채널 텐서(32×32×4)를 구성하였다.
• 개별 R, G, B, D 채널에 대해 두 층의 피드포워드 신경망을 훈련시어 특징 표현 품질을 비교하였다.
• RGB 및 RGBD 데이터셋에서 표준 ResNet-20 및 ResNet-56 모델을 훈련하고 비교하여 깊은 네트워크에서의 성능 향상 여부를 평가하였다.
• 하류 이미지 분류 정확도 향상에 기반한 새로운 깊이 추정 품질 평가 지표를 제안하였다.
• 깊이 추정에는 텐서플로우를, 분류 네트워크 훈련에는 Caffe를 사용하였다.

실험 결과

연구 질문

• RQ1 단일 이미지 깊이 추정 모델에서 유도된 추정 깊이 맵을 추가 입력 특징으로 사용할 경우 이미지 분류 성능 향상 여부는 무엇인가?
• RQ2 이미지 분류 작업에서 깊이 채널이 RGB 채널보다 더 나은 특징 표현을 제공하는가?
• RQ3 얕은 네트워크와 깊은 네트워크 양쪽에서 깊이 맵을 추가함으로써 얻는 성능 향상이 유지되는가?
• RQ4 정답 레이블이 없는 상황에서 분류 정확도에 기반한 전이 학습 기반 평가 지표를 사용해 깊이 추정 품질을 평가할 수 있는가?
• RQ5 깊이 맵의 성능 향상 요인이 RGB 특징만으로는 포착되지 않는 새로운 보완 정보 때문인가?

주요 결과

• 두 층의 피드포워드 네트워크에 입력으로 사용했을 때, 깊이 채널이 R, G, B 채널보다 더 높은 검증 정확도를 달성하여 더 나은 특징 표현을 나타냈다.
• 두 층의 네트워크를 사용할 때 RGBD 데이터셋에서 훈련한 결과 RGB 전용 훈련 대비 분류 성능이 4% 향상되었으며, 깊이가 보조 입력으로서의 가치를 입증하였다.
• ResNet-20은 RGBD 데이터셋에서 훈련했을 때 RGB 데이터셋 대비 상위-1 오차율에서 0.55% 향상되었다.
• ResNet-56는 RGBD 데이터셋에서 6.44%의 오차율을 기록하여 RGB 데이터셋의 6.97%보다 높은 성능을 보였으며, 절대적 향상 폭은 0.53%였다.
• RGBD 모델은 RGB 모델보다 더 빠르게 수렴했으며, 이는 깊이 맵이 최적화를 보조하는 더 구조화되거나 구분력 있는 특징을 제공하기 때문임을 시사한다.
• 깊은 네트워크에서의 성능 향상은 깊이 특징이 종합적 학습으로는 완전히 포착되지 않는 정보를 포함하고 있음을 시사한다.