[논문 리뷰] Feature Representation in Convolutional Neural Networks

Ben Athiwaratkun, Keegan Kang|arXiv (Cornell University)|2015. 07. 08.

Advanced Neural Network Applications참고 문헌 9인용 수 79

한 줄 요약

이 논문은 하위 최적 또는 과소학습된 CNN에서 추출한 저층 합성곱 특징이 이미지 분류 작업에서 전통적인 기계학습 모델(예: 랜덤 포레스트, SVM)과 함께 사용될 때 최상위층 특징(예: 최종 완전 연결층)보다 뛰어난 성능을 보임을 보여준다. 주요 기여는 CNN 특징, 특히 초기층에서 유도된 특징이 원래 CNN 자체보다도 더 높은 정확도를 제공함을 입증하며, 이는 전이 학습의 더 효율적이고 효과적인 대안을 제공한다.

ABSTRACT

Convolutional Neural Networks (CNNs) are powerful models that achieve impressive results for image classification. In addition, pre-trained CNNs are also useful for other computer vision tasks as generic feature extractors. This paper aims to gain insight into the feature aspect of CNN and demonstrate other uses of CNN features. Our results show that CNN feature maps can be used with Random Forests and SVM to yield classification results that outperforms the original CNN. A CNN that is less than optimal (e.g. not fully trained or overfitting) can also extract features for Random Forest/SVM that yield competitive classification accuracy. In contrast to the literature which uses the top-layer activations as feature representation of images for other tasks, using lower-layer features can yield better results for classification.

연구 동기 및 목표

• 합성곱 신경망(CNN)에서 추출한 특징이 원래 CNN의 정확도를 초월하여 이미지 분류 성능을 향상시킬 수 있는지 조사하기.
• 특히 저층 특징과 최상위층 특징을 비교하여 CNN의 다양한 층에서 유도된 특징의 효과성을 평가하기.
• 최적화되지 않거나 과적합된 CNN이 여전히 하류 작업을 위한 효과적인 특징 추출기로 기능할 수 있는지 탐색하기.
• 기존 CNN의 분류 헤드가 아닌 CNN에서 유도된 특징을 기반으로 훈련된 전통적 기계학습 모델(RF, SVM)이 원래 CNN보다 뛰어난 성능을 보일 수 있음을 입증하기.
• DeConvNet과 같은 시각화 기법을 통해 학습된 특징의 해석 가능성을 제시하여 생물학적 분류 작업을 지원하기.

제안 방법

• ReLU 활성화 함수, 맥스 풀링, 운동량를 사용한 확률적 경사 하강법를 사용하여 121개 클래스의 플랑크톤 이미지 데이터셋에 대해 세 가지 커스텀 CNN 아키텍처(CNN1, CNN2, CNN3)를 훈련시켰다.
• 각 훈련된 CNN의 여러 층에서 특징 맵을 추출하였으며, 이는 초기(합성곱) 층과 후기(완전 연결) 층을 포함한다.
• 추출된 특징 맵을 전통적 분류기인 랜덤 포레스트와 SVM의 입력으로 사용하여 CNN의 최종 소프트맥스 레이어에 의존하지 않았다.
• 학습된 특징을 시각화하고 해석하기 위해 DeConvNet(역합성곱 네트워크)을 적용하였으며, 특징 패턴과 플랑크톤의 시각적 특징 간의 연관성을 분석하였다.
• 특징 벡터에 대한 계층적 클러스터링을 수행하여 플랑크톤 클래스 간의 시각적 유사성을 반영하는 계층수열도를 생성하였다.
• 표준 평가 지표(정확도)를 사용하여 성능을 평가하였으며, CNN 전용 모델과 CNN 특징 기반 모델 간의 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 기존 기계학습 모델과 함께 사용할 때, 최종 완전 연결층 특징보다 저층 합성곱 층에서 유도된 특징이 더 높은 분류 성능을 보일 수 있는가?
• RQ2 최적화되지 않거나 과적합된 CNN이 여전히 랜덤 포레스트나 SVM과 함께 사용될 경우, 자신의 분류 정확도를 뛰어넘는 유용한 특징을 추출할 수 있는가?
• RQ3 특히 초기 층에서 유도된 CNN 특징은 데이터가 제한된 이미지 분류 작업에서 전이 학습에 효과적으로 활용될 수 있는가?
• RQ4 학습된 특징의 시각적 패턴은 입력 이미지의 생물학적 또는 시각적 특징과 어떻게 관련되어 있으며, 이는 계통 분류를 지원할 수 있는가?
• RQ5 기존 CNN의 분류 헤드를 사용하는 것과 비교해 기존 CNN 특징을 전통적 모델과 함께 사용할 경우에 유의미한 성능 향상이 이루어지는가?

주요 결과

• 랜덤 포레스트나 SVM에 사용된 저층 합성곱 층 특징(예: 첫 번째 또는 두 번째 맥스 풀링 이후)이 최종 완전 연결층 특징보다 더 높은 분류 정확도를 달성하였다.
• 완전히 훈련되지 않거나 과적합의 징후가 있는 CNN조차도, 랜덤 포레스트나 SVM가 원래 CNN의 정확도를 경쟁하거나 초월하는 정확도를 달성할 수 있도록 유용한 특징을 추출하였다.
• CNN 특징과 전통적 모델(RF/SVM)의 조합이 플랑크톤 데이터셋에서 원래 CNN의 자체 분류 성능을 뛰어넘었다.
• 특징 벡터 기반 계층적 클러스터링을 통해 유의미한 플랑크톤 클래스 군집화가 이루어졌으며, 유사한 클래스 간에 높은 상관도를 보이는 특징 활성화가 관찰되었다.
• DeConvNet을 사용한 특징 시각화 결과, 특정 특징(예: 특징 5번, 36번)이 '막'이나 '다공성 몸통'과 같은 해석 가능한 시각적 패턴과 대응됨을 확인하여 생물학적 해석 가능성을 뒷받침하였다.
• 특징 유사도 기반으로 생성된 계층수열도는 시각적 유사성과 매우 유사했으며, 이는 CNN 특징가 생물학적 분류를 위한 '이분법적 열쇠'로 활용될 수 있음을 시사한다.