[논문 리뷰] On the Behavior of Convolutional Nets for Feature Extraction

Dario García-Gasulla, Ferran Parés외 6명|arXiv (Cornell University)|2017. 03. 03.

Domain Adaptation and Few-Shot Learning참고 문헌 25인용 수 5

한 줄 요약

이 논문은 지식 표현을 위한 분류 능력을 평가하기 위해 모든 레이어를 거쳐 개인화된 합성곱 신경망(CNN) 특징의 통계적 분석을 제안한다. 11개의 데이터셋에서 특징의 존재 및 부재를 측정함으로써, 고수준 특징을 초월해 저수준 및 중간수준 특징이 유의미한 분류 정보를 지닌다는 것을 입증하며, 노이즈-임계치 기반 방법을 통해 50% 이상의 관련 특징을 유지함으로써 전망형 임베딩의 풍부함을 보장하고, 전이 학습 및 추론 작업에 활용할 수 있다.

ABSTRACT

Deep neural networks are representation learning techniques. During training, a deep net is capable of generating a descriptive language of unprecedented size and detail in machine learning. Extracting the descriptive language coded within a trained CNN model (in the case of image data), and reusing it for other purposes is a field of interest, as it provides access to the visual descriptors previously learnt by the CNN after processing millions of images, without requiring an expensive training phase. Contributions to this field (commonly known as feature representation transfer or transfer learning) have been purely empirical so far, extracting all CNN features from a single layer close to the output and testing their performance by feeding them to a classifier. This approach has provided consistent results, although its relevance is limited to classification tasks. In a completely different approach, in this paper we statistically measure the discriminative power of every single feature found within a deep CNN, when used for characterizing every class of 11 datasets. We seek to provide new insights into the behavior of CNN features, particularly the ones from convolutional layers, as this can be relevant for their application to knowledge representation and reasoning. Our results confirm that low and middle level features may behave differently to high level features, but only under certain conditions. We find that all CNN features can be used for knowledge representation purposes both by their presence or by their absence, doubling the information a single CNN feature may provide. We also study how much noise these features may include, and propose a thresholding approach to discard most of it. All these insights have a direct application to the generation of CNN embedding spaces.

연구 동기 및 목표

• 사전 훈련된 CNN의 모든 레이어, 특히 합성곱 레이어에서 개별 특징의 분류 행동을 이해하기 위해.
• 특징이 존재함과 동시에 부재함을 통해 클래스를 표현할 수 있는지 조사하여 지식 표현의 새로운 방식을 가능하게 하기 위해.
• 파인튜닝 없이 다양한 데이터셋에서 저수준 및 중간수준 특징의 일반화 잠재력을 평가하기 위해.
• 노이즈를 제거하는 임계치 전략을 개발하여 분류 정보를 유지하기 위해.
• 모든 레이어의 특징을 활용하는 전망형 임베딩이 하류 작업에서 전통적인 단일 레이어 임베딩을 능가할 수 있음을 입증하기 위해.

제안 방법

• 11개의 다양한 목표 데이터셋(MIT67, CUB200, Flowers102 등)에 대해 ImageNet 2012에서 사전 훈련된 VGG16 네트워크를 특징 추출기로 활용하였다.
• 각 레이어의 모든 개별 특징에 대해 내부 클래스 및 외부 클래스 활성화 분포를 측정하여 분류 능력을 평가하였다.
• 랜덤화된 데이터셋을 사용하여 노이즈 추정 방법을 제안하여 특징 유의미성에 대한 보수적인 임계치를 정의하였다.
• 내부 클래스 활성화가 외부 클래스 활성화를 임계치 이상 초월할 경우 특징을 관련이 있다고 분류하였다. 이 임계치는 노이즈 기반 기반선에서 유도되었다.
• 모든 레이어와 데이터셋에서 특징 유의미성을 평가하여 존재/부재 신호의 일관된 패턴을 식별하였다.
• 모든 레이어의 관련 특징을 조합하여 존재 및 부재 신호를 모두 활용한 전망형 임베딩을 구성하였다.

실험 결과

연구 질문

• RQ1 개별 CNN 특징이 존재뿐만 아니라 부재를 통해 클래스를 표현할 수 있으며, 이는 지식 표현에 어떤 영향을 미치는가?
• RQ2 다양한 데이터셋에서 저수준, 중간수준, 고수준 특징의 분류 행동은 어떻게 다를까?
• RQ3 저수준 합성곱 레이어의 특징가 파인튜닝 없이 다양한 데이터셋에서 얼마나 일반화되는가?
• RQ4 노이즈를 제거하면서도 분류 유의미성을 유지하는 최적의 임계치는 무엇인가?
• RQ5 모든 레이어의 특징을 활용하는 전망형 임베딩이 분류 및 다중모odal 작업에서 단일 레이어 임베딩을 능가할 수 있는가?

주요 결과

• 모든 11개의 평가된 데이터셋에서 저수준 및 중간수준 합성곱 레이어의 특징도 분류 능력을 보이며, CNN의 표현 공간에서 어떤 클래스도 기술 불가능하지 않음을 입증한다.
• 보수적인 노이즈 임계치를 적용한 후에도 임베딩 공간의 특징의 절반 이상이 관련성이 유지되어, 상당 부분의 특징이 비랜덤하고 분류에 유의미한 정보를 지닌다는 것을 시사한다.
• 저수준 및 중간수준 특징은 다양한 데이터셋에서 일관된 행동을 보이며, 작업별 파인튜닝 없이도 지식 표현에 활용될 수 있음을 시사한다.
• 완전연결층 특징는 매우 특수하다—클래스에 강하게 관련되거나 전혀 관련이 없음—반면 합성곱 특징는 종종 부재를 통해 클래스 소속을 신호로 제공하여 보완적인 정보 모odal을 제공한다.
• 도메인 외부 작업에서 완전연결층 특징의 행동은 합성곱 특징과 통계적으로 유사하여, 지식 표현 파이프라인에서 이들을 유사하게 취급할 수 있음을 시사한다.
• 모든 레이어의 특징을 포함하고 존재 및 부재 신호를 모두 활용한 전망형 임베딩은 분류 및 이미지 캡션 생성, 검색과 같은 다중모달 작업에서 단일 레이어 임베딩을 능가한다.