[논문 리뷰] Deep convolutional filter banks for texture recognition and segmentation

Mircea Cimpoi, Subhransu Maji외 1명|arXiv (Cornell University)|2014. 11. 25.

Advanced Image and Video Retrieval Techniques참고 문헌 32인용 수 50

한 줄 요약

이 논문은 기존의 완전히 연결된 층에 의존하는 기존의 CNN 기반 접근법의 한계를 극복하고, 공간적 레이아웃에 민감하거나 고정된 입력 크기 요구, 이식성 부족 등의 문제를 해결하기 위해, 텍스처, 소재, 장면 인식 성능을 향상시키기 위해 컨volutional neural network (CNN) 필터 베드에 Fisher Vector 풀링을 적용하는 새로운 텍스처 기술자인 FV-CNN을 제안한다. FV-CNN는 사전 훈련된 CNN의 활성화 맵을 학습 가능한 비선형 필터 베드로 간주하고, 순서 없는 다중 척도 풀링을 사용함으로써, 정교한 조정 없이도 또는 이미지 크기 조정 없이도 최신 기술 수준의 성능을 달성한다: Flickr Material에서 79.8%, MIT Indoor Scenes에서 81.1%의 정확도를 기록한다.

ABSTRACT

Research in texture recognition often concentrates on the problem of material recognition in uncluttered conditions, an assumption rarely met by applications. In this work we conduct a first study of material and describable texture at- tributes recognition in clutter, using a new dataset derived from the OpenSurface texture repository. Motivated by the challenge posed by this problem, we propose a new texture descriptor, D-CNN, obtained by Fisher Vector pooling of a Convolutional Neural Network (CNN) filter bank. D-CNN substantially improves the state-of-the-art in texture, mate- rial and scene recognition. Our approach achieves 82.3% accuracy on Flickr material dataset and 81.1% accuracy on MIT indoor scenes, providing absolute gains of more than 10% over existing approaches. D-CNN easily trans- fers across domains without requiring feature adaptation as for methods that build on the fully-connected layers of CNNs. Furthermore, D-CNN can seamlessly incorporate multi-scale information and describe regions of arbitrary shapes and sizes. Our approach is particularly suited at lo- calizing stuff categories and obtains state-of-the-art re- sults on MSRC segmentation dataset, as well as promising results on recognizing materials and surface attributes in clutter on the OpenSurfaces dataset.

연구 동기 및 목표

• 텍스처가 고립되어 있지도 않고 균일하게 분포되어 있지 않은 실제의 혼잡한 자연 이미지에서 소재 및 텍스처 속성 인식의 과제를 해결한다.
• 완전히 연결된 층에 의존하는 기존의 CNN 기반 접근법의 한계를 극복한다. 이러한 접근법은 공간적 레이아웃에 민감하고, 고정된 입력 크기를 요구하며, 이식성이 떨어질 수 있다.
• 텍스처 특성에 대한 불변성을 유지하면서도 도메인 간 이식이 가능하고, 정교한 조정 없이도 유연하고 순서 없는 다중 척도 특징 표현을 개발한다.
• 오픈서피스 데이터셋에서 파생된 새로운 벤치마크를 바탕으로, 소재 및 텍스처 속성 인식과 분할 작업에 대해 제안된 방법을 평가한다.

제안 방법

• 사전 훈련된 CNN(예: VGG-M)의 초기 컨볼루션 레이어의 활성화 맵을 학습 가능한 비선형 필터 베드로 간주한다.
• 각 필터 베드의 특징 맵에 대해 피셔 벡터(FV) 풀링을 적용하여, 압축되고 순서 없는, 그리고 구분력 있는 글로벌 기술자를 생성한다.
• 공간적 위치 간 필터 반응의 분포를 인코딩하기 위해 FV 표현을 사용함으로써, 다중 척도 및 형태에 민감하지 않은 특징 집약을 가능하게 한다.
• 완전히 연결된 층에서 요구되는 비용이 큰 크기 조정 작업을 피하기 위해, 임의의 크기의 입력 이미지를 컨볼루션 레이어를 그대로 통과시킨다.
• 분류를 위해 FV-CNN 특징에 선형 SVM을 훈련시켜, 도메인 특화 적응 없이도 빠르고 효과적인 인식이 가능하게 한다.
• 일반적인 이미지 분할 알고리즘(예: 클리프트 영역 또는 겹치는 제안 영역)과 FV-CNN 영역 기술자를 조합하여, 약한 감독 기반 분할로의 확장을 시도한다.

실험 결과

연구 질문

• RQ1 CNN 필터 베드에 대한 피셔 벡터 풀링이, 완전히 연결된 층에서 유도된 표준 CNN 특징보다 혼잡한 장면에서의 텍스처 및 소재 인식 성능을 뛰어나게 할 수 있는가?
• RQ2 특히 정교한 조정 없이도, 완전히 연결된 층에 의존하는 방법보다 FV-CNN이 더 나은 도메인 간 이식 성능을 보일 수 있는가?
• RQ3 FV-CNN의 성능는 다양한 CNN 레이어에서 어떻게 변화하는가? 어떤 레이어가 가장 구분력 있는 텍스처 표현을 제공하는가?
• RQ4 CRF 기반 후처리나 데이터셋 특화 훈련 없이도 FV-CNN이 약한 감독 기반 분할 작업에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 FV-CNN는 실제의 혼잡한, 정돈되지 않은 복잡한 장면에서 기술적 텍스처 속성(예: 주름지거나 무늬가 있는)과 소재(예: 벽돌, 천)를 인식하는 데 얼마나 효과적인가?

주요 결과

• FV-CNN는 Flickr Material 데이터셋에서 79.8%의 정확도를 기록하여 이전 최고 기술 수준의 방법보다 약 10% 이상의 절대적 향상을 달성한다.
• MIT Indoor Scenes 데이터셋에서 FV-CNN는 81.1%의 정확도를 기록하여 이전 최고 기술 수준의 70.8%를 크게 뛰어넘는다.
• 모든 평가된 데이터셋에서 FV-CNN는 SIFT 기반 피셔 벡터 표현보다 뛰어난 성능을 보이며, 이는 초기 레이어에서 깊은 레이어로 갈수록 성능이 단조롭게 향상됨을 의미한다.
• VGG-M의 conv3 및 그 이후 레이어에서 유도된 필터 베드는 SIFT보다 유의미하게 더 나은 기술자를 생성함으로써, 깊이 있는 특징이 텍스처 표현에 더 우수함을 입증한다.
• FV-CNN는 효과적인 약한 감독 기반 분할을 가능하게 한다: 클리프트 영역을 사용할 경우, OpenSurfaces 소재 인식 벤치마크에서 55.4%의 정확도와 MSRC에서 87.0%의 정확도를 기록하여, CRF나 도메인 특화 훈련 없이도 이전 결과에 맞추거나 초월한다.
• 이 방법은 영역 크기와 형태에 대해 강건하며, 겹치는 제안 기반 분할을 FV-CNN와 조합하면 OpenSurfaces에서 55.7%의 정확도를 기록하여 강력한 일반화 능력과 유연성을 입증한다.