[논문 리뷰] Deep Texture Manifold for Ground Terrain Recognition

Jia Xue, Hang Zhang외 1명|arXiv (Cornell University)|2018. 03. 29.

Advanced Image and Video Retrieval Techniques참고 문헌 32인용 수 10

한 줄 요약

이 논문은 순서 없는 질감 특징과 국소적 공간 정보를 결합하여 개선된 지면 토양 인식을 위한 딥 인코딩 풀링 네트워크(DEP)를 제안한다. 이는 GTOS 및 GTOS-mobile 데이터셋에서 최신 기술 수준의 성능을 달성한다. 또한 DEP-다양체는 2차원 공간에서 분류 구조를 갖춘 분류 가능한 임베딩을 학습하는 파라미터화된 질감 다양체를 도입하여, 모호한 클래스 경계의 강건한 표현과 분포 외 일반화를 가능하게 한다.

ABSTRACT

We present a texture network called Deep Encoding Pooling Network (DEP) for the task of ground terrain recognition. Recognition of ground terrain is an important task in establishing robot or vehicular control parameters, as well as for localization within an outdoor environment. The architecture of DEP integrates orderless texture details and local spatial information and the performance of DEP surpasses state-of-the-art methods for this task. The GTOS database (comprised of over 30,000 images of 40 classes of ground terrain in outdoor scenes) enables supervised recognition. For evaluation under realistic conditions, we use test images that are not from the existing GTOS dataset, but are instead from hand-held mobile phone videos of similar terrain. This new evaluation dataset, GTOS-mobile, consists of 81 videos of 31 classes of ground terrain such as grass, gravel, asphalt and sand. The resultant network shows excellent performance not only for GTOS-mobile, but also for more general databases (MINC and DTD). Leveraging the discriminant features learned from this network, we build a new texture manifold called DEP-manifold. We learn a parametric distribution in feature space in a fully supervised manner, which gives the distance relationship among classes and provides a means to implicitly represent ambiguous class boundaries. The source code and database are publicly available.

연구 동기 및 목표

• 로봇 및 자율주행차에서 순서 없는 질감과 국소적 공간 구조를 통합하여 지면 토양 인식을 향상시키기 위해.
• 비슷한 외관을 가진 재료들(예: 아스팔트와 석재 아스팔트, 잔디와 낙엽) 간의 모호한 클래스 경계 문제를 해결하기 위해.
• 2차원 공간에서 지면 클래스의 연속적이고 분류 가능한 임베딩을 학습하는 파라미터화된 질감 다양체(DEP-다양체)를 개발하기 위해.
• 학습 데이터와는 다를 수 있는 실제 조건에서의 성능 평가를 위해 새로운 모바일폰으로 촬영한 데이터셋(GTOS-mobile)을 사용하기 위해.
• 향후 토양 인식 및 질감 다양체 학습 연구를 위한 공개된 데이터셋과 코드베이스를 제공하기 위해.

제안 방법

• DEP 네트워크는 이중 분지 특징 추출을 사용한다: 한 분지는 깊이 인코딩 레이어를 적용하여 순서 없는 질감 외관을 캡처하고, 다른 분지는 글로벌 평균 풀링을 사용하여 국소적 공간 구조를 유지한다.
• 두 분지의 특징은 이차형 모델을 통해 융합되어 분류 가능한 질감 정보와 공간 정보를 결합한다.
• DEP 네트워크는 GTOS 데이터셋(30,000+ 장, 40개 클래스)에서 교차 엔트로피 손실과 표준 CNN 최적화를 사용하여 엔드 투 엔드로 훈련된다.
• DEP-다양체는 먼저 Barnes-Hut t-SNE를 적용하여 DEP 특징의 비모수적 2차원 임베딩을 학습한 후, 이 2차원 좌표를 DEP 특징에서 직접 예측하는 데에 깊이 신경망을 감독 학습 방식으로 훈련시켜 구성된다.
• 임베딩 네트워크는 배치 정규화와 ReLU 활성화 함수를 사용하여 L2 손실로 80 에포크 동안 감소하는 초기 학습률 0.01로 미리 훈련된 상태에서부터 학습된다.
• 이 방법은 샘플 외 확장이 가능하며, 유사한 재료들이 공간적으로 가까이 위치한 부드럽고 클래스가 조직화된 2차원 다양체를 생성한다.

실험 결과

연구 질문

• RQ1 순서 없는 질감과 국소적 공간 구조를 동시에 모델링하는 딥 러닝 모델이 기존 방법보다 지면 토양 인식에서 뛰어난 성능을 낼 수 있는가?
• RQ2 특히 모호한 경계 근처에서 지면 클래스의 내재된 구조를 잘 반영할 수 있는 파라미터화된 질감 다양체를 어떻게 학습할 수 있는가?
• RQ3 제안된 DEP 네트워크는 훈련 중에 볼 수 없었던 실제 수동 모바일 비디오 데이터에 잘 일반화되는가?
• RQ4 DEP-다양체는 시각적 유사성을 반영하면서도 의미 있는 연속적이고 분류 가능한 지면 재료의 임베딩을 제공할 수 있는가?
• RQ5 MINC 및 DTD와 같은 도메인 외지만 도메인 내 토양 데이터셋에서는 시스템의 성능가 어떻게 되는가?

주요 결과

• DEP 네트워크는 GTOS 데이터셋에서 최신 기술 수준의 성능을 달성했으며, MINC 및 DTD 데이터셋으로의 일반화 능력이 뛰어나 강력한 전이 성능를 보였다.
• 새로 수집한 GTOS-mobile 데이터셋(81개 비디오, 31개 지면 클래스, 모바일폰으로 촬영)에서 DEP는 다양한 조명 조건과 시점 변화 조건에서도 강건한 성능를 보였다.
• DEP-다양체는 DEP-파라미터화된 t-SNE에 비해 더 균일하고 클래스가 조직화된 2차원 임베딩을 생성했으며, 혼잡함과 희소성 감소를 보였다.
• DEP-다양체의 시각화에서 잘못 분류된 이미지들은 종종 올바른 클래스 근처에 투영되며, 이는 다양체가 의미 있는 시각적 유사성을 잘 반영하고 있음을 시사한다.
• DEP 인식의 혼동 행렬에서는 대각선 외의 요소가 최소이며, 존재하는 요소들도 일반적으로 대각선 근처에 위치해 있어, 잘못된 분류가 주로 의미적으로 유사한 지면 클래스 간에 국한되어 있음을 나타낸다.
• DEP-다양체를 처음부터 학습하는 데 NVIDIA Titan X에서 5분 미만이 소요되어 계산 효율성이 뛰어나다.