[논문 리뷰] How transferable are features in deep neural networks?

Jason Yosinski, Jeff Clune외 2명|arXiv (Cornell University)|2014. 11. 06.

Advanced Neural Network Applications참고 문헌 15인용 수 3,456

한 줄 요약

이 논문은 ImageNet에서 학습된 심층 CNN의 계층별 특징 전달 가능성을 정량화하여 일반적인 초기 계층과 작업별 특화된 마지막 계층, 그리고 최적화 및 공동 적응(co-adaptation) 효과를 밝힌다.

ABSTRACT

Many deep neural networks trained on natural images exhibit a curious phenomenon in common: on the first layer they learn features similar to Gabor filters and color blobs. Such first-layer features appear not to be specific to a particular dataset or task, but general in that they are applicable to many datasets and tasks. Features must eventually transition from general to specific by the last layer of the network, but this transition has not been studied extensively. In this paper we experimentally quantify the generality versus specificity of neurons in each layer of a deep convolutional neural network and report a few surprising results. Transferability is negatively affected by two distinct issues: (1) the specialization of higher layer neurons to their original task at the expense of performance on the target task, which was expected, and (2) optimization difficulties related to splitting networks between co-adapted neurons, which was not expected. In an example network trained on ImageNet, we demonstrate that either of these two issues may dominate, depending on whether features are transferred from the bottom, middle, or top of the network. We also document that the transferability of features decreases as the distance between the base task and target task increases, but that transferring features even from distant tasks can be better than using random features. A final surprising result is that initializing a network with transferred features from almost any number of layers can produce a boost to generalization that lingers even after fine-tuning to the target dataset.

연구 동기 및 목표

• 신경 특징의 일반성 대 특수성(전달 가능성)을 서로 다른 작업 간의 일반성으로서 공식적으로 정의한다.
• 깊은 CNN에서 계층별 전달 가능성이 어떻게 바뀌는지 특성화한다.
• 고위계층의 특화성과 공동 적응으로 인한 최적화 난이도 등이 전달 성능을 저하시킬 수 있는 요인을 식별한다.
• 작업 간의 유사성(또는 거리)이 전달 가능성에 어떤 영향을 미치는지 평가하고, 무작위 특징과의 비교를 수행한다.
• 전이된 특징이 대상 작업에서 미세조정 후 일반화를 개선할 수 있는지 탐구한다.

제안 방법

• 임의로 분할된 ImageNet 작업 쌍 A와 B를 eight-layer CNN으로 학습시킨 기본 네트워크를 훈련한다.
• 기본 네트워크의 처음 n 계층을 전이/고정 설정에 복사하고 남은 계층을 대상 작업에서 학습한다.
• 고정된 전이 계층과 미세조정된 전이 계층을 비교하여 일반성 대 특수성의 효과를 분리한다.
• 여러 A/B 분할을 반복하고 서로 다른 인위적 대자연(Man-made vs. natural) 클래스로 분할된 작업 간 거리도 측정한다.
• 고정된 기본 특징(selffer) 및 무작위 초기화로 비교 대상을 포함한다.
• 하단, 중간, 상단 계층에서의 전이를 분석해 계층별 일반성을 매핑한다.

실험 결과

연구 질문

• RQ1 각 계층에서 학습된 특징이 다른 대상 작업으로의 전이와 관련하여 얼마나 일반적인가?
• RQ2 네트워크의 어느 위치에서 일반 표현에서 특정 표현으로의 전이가 발생하며, 계층 간에는 그 전이가 얼마나 급격한가?
• RQ3 전이 성능 저하를 야기하는 메커니즘은 무엇인가? 공동적합(co-adaptation) 대 특징 특이성인가?
• RQ4 작업의 유사성/거리들이 특히 상위 계층의 특징 전달 가능성에 어떤 영향을 미치는가?
• RQ5 특징을 전이한 후 대상 작업에서 미세조정을 수행하면 단독으로 대상 작업을 학습했을 때보다 일반화를 향상시킬 수 있는가?

주요 결과

• 첫 번째 및 두 번째 계층의 특징은 유사한 작업 간 거의 완벽하게 전달되어 초기 계층의 일반성을 시사한다.
• 중간에서 상위 계층은 공동 적응과 증가하는 작업 특이성으로 인해 전달 가능성이 감소한다.
• 기본 작업-대상 작업 간 거리가 커질수록 특히 상위 계층에서 전달 성능이 저하된다.
• 특징을 전이한 뒤 미세조정을 수행하는 AnB+는 대상 작업에서 직접 학습하는 것보다 일반화 상승 효과를 낳으며 상당한 미세조정 후에도 지속된다.
• 아주 먼 작업으로부터의 전이는 무작위 특징 사용보다 낫고, 유지된 계층(1–7) 범위에서도 그 이점이 지속된다.