[논문 리뷰] Deep filter banks for texture recognition, description, and segmentation

Mircea Cimpoi, Subhransu Maji외 2명|arXiv (Cornell University)|2015. 07. 09.

Generative Adversarial Networks and Image Synthesis인용 수 8

한 줄 요약

이 논문은 실제 영상에서 질감을 기술하기 위한 인간이 이해할 수 있는 47개의 질감 속성 어휘와 새로운 데이터셋(DTD)을 소개한다. 깊이 컨볼루션 신경망(CNN)의 풀링 특징—학습된 필터 베이스로 작용하는 것—이 실생활 및 혼잡한 조건에서도 질감 인식, 속성 기술, 세분화 작업에서 최신 기술 수준의 성능을 달성함을 입증한다. FMD 및 KTH-T2b와 같은 벤치마크 데이터셋에서 이전 방법에 비해 상당한 성능 향상을 보였다.

ABSTRACT

Visual textures have played a key role in image understanding because they convey important semantics of images, and because texture representations that pool local image descriptors in an orderless manner have had a tremendous impact in diverse applications. In this paper we make several contributions to texture understanding. First, instead of focusing on texture instance and material category recognition, we propose a human-interpretable vocabulary of texture attributes to describe common texture patterns, complemented by a new describable texture dataset for benchmarking. Second, we look at the problem of recognizing materials and texture attributes in realistic imaging conditions, including when textures appear in clutter, developing corresponding benchmarks on top of the recently proposed OpenSurfaces dataset. Third, we revisit classic texture representations, including bag-of-visual-words and the Fisher vectors, in the context of deep learning and show that these have excellent efficiency and generalization properties if the convolutional layers of a deep model are used as filter banks. We obtain in this manner state-of-the-art performance in numerous datasets well beyond textures, an efficient method to apply deep features to image regions, as well as benefit in transferring features from one domain to another.

연구 동기 및 목표

• 실생활 영상에서 흔히 볼 수 있는 질감 패턴을 기술하기 위한 인간이 이해할 수 있는 질감 속성 어휘를 개발하는 것.
• OpenSurfaces 데이터셋을 활용해 실생활 및 혼잡한 영상 조건에서 소재 및 질감 속성 인식을 위한 새로운 벤치마크를 만들기 위한 것.
• 깊이 학습 기반 기법의 맥락에서 기존의 질감 표현 방식(예: 시각적 단어의 망점, 피셔 벡터)을 재평가하기 위해 CNN의 컨볼루션 레이어를 학습된 필터 베이스로 사용하는 것.
• 순서 없는 풀링을 결합한 깊이 특징을 활용해 효율적이고 이식 가능하며 영역 수준의 특징 추출을 가능하게 하는 것.

제안 방법

• 실생활 자료에서 수집한 5,640장의 영상에 47개의 질감 속성을 주석 처리한 데이터셋을 제안하여 의미론적 질감 기술을 가능하게 한다.
• 사전 훈련된 깊이 컨볼루션 신경망(VGG 등)의 컨볼루션 레이어 특징을 학습된 필터 베이스로 사용해 국소적 영상 기술자 특징을 추출한다.
• 기존의 풀링 인코더—특히 피셔 벡터(FV) 인코딩—을 CNN 특징 위에 적용하여 압축되고 순서 없는 표현을 만든다.
• 풀드된 특징 위에 선형 또는 RBF 분류기를 훈련시어 질감 속성 또는 소재 카테고리를 예측한다.
• 사전 훈련된 ImageNet 모델의 특징을 미세조정 없이 사용함으로써 전이 학습을 구현하여 도메인 간 특징 전이를 가능하게 한다.
• 목표 데이터셋(예: Houzz)에서 분류기 점수를 校정하고 재스케일링하여 시각화 및 검색에 적합한 정규화된 확률 점수를 생성한다.

실험 결과

연구 질문

• RQ1 인간이 이해할 수 있는 질감 속성 어휘가 실생활 영상의 다양한 질감 패턴을 효과적으로 기술할 수 있는가?
• RQ2 딥 CNN 특징을 필터 베이스로 사용하고 피셔 벡터로 풀링할 경우, 질감, 소재, 객체 인식 작업 전반에 걸쳐 얼마나 잘 일반화되는가?
• RQ3 OpenSurfaces 데이터셋에서 관찰되는 것과 같은 혼잡하고 현실적인 영상 조건에서도 질감 속성 예측을 신뢰성 있게 수행할 수 있는가?
• RQ4 딥 네트워크의 초기 컨볼루션 레이어 특징이 전통적인 수작업 기반 기술자나 후속 레이어 특징보다 질감 이해 작업에서 더 우수한 성능을 보이는가?
• RQ5 딥 네트워크에서 추출한 특징이 미세조정 없이도 얼마나 넓은 도메인 간 전이가 가능한가?

주요 결과

• 47개의 질감 속성을 가진 DTD 데이터셋은 질감의 의미론적 기술에 효과적이다. 정성적 결과는 속성과 영상 콘텐츠 사이에 강한 의미론적 일치를 보이며, 예를 들어 빵은 'bumpy', 'pitted', 'porous'로 예측되는 등 명확한 일치를 보였다.
• 딥 CNN의 초기 컨볼루션 레이어 특징에 피셔 벡터 인코딩을 적용한 결과, KTH-T2b에서 77.1%의 정확도를 달성하여 이전 최신 기술 수준(76.0%)을 초월했으며, 강력한 일반화 능력을 입증했다.
• Flickr Material Dataset(FMD)에서 72.17%의 정확도를 기록하여 이전 최신 기술 수준(57.7%)보다 15퍼센트 포인트의 상당한 향상을 보였으며, 이는 매우 뚜렷한 성능 향상이다.
• DTD 특징는 매우 압축되어 있어 다른 기술자보다 두 자리 수만큼 작으며, RBF 기반 분류에 대해 선형 분류기 대비 1~3%의 성능 하락만을 보였다.
• Houzz.com의 벽지 및 침구 영상 10,000장으로 구성된 데이터셋에 적용했을 때, DTD 속성은 의미 있고 이해할 수 있는 기술을 제공했으며, 상위 3개의 속성이 자주 정확한 시각적 특징을 잘 반영했다.
• 이 방법은 질감을 넘어서도 일반화된다: 굵은 분류 및 미세 분류 객체 분류, 장면 분류 작업에서 최신 기술 수준의 성능을 달성했으며, 깊이 학습된 필터 베이스가 일반적인 이미지 기술자로써의 유연성을 입증했다.