[논문 리뷰] An analysis of the transfer learning of convolutional neural networks for artistic images

Nicolas Gonthier, Yann Gousseau외 1명|arXiv (Cornell University)|2020. 11. 05.

Generative Adversarial Networks and Image Synthesis참고 문헌 32인용 수 16

한 줄 요약

이 논문은 예술적 이미지 데이터셋에서 미세조정(fine-tuning)할 때 전이학습(transfer learning)이 사전 훈련된 합성곱 신경망(CNN)을 어떻게 수정하는지 조사한다. 특성 시각화와 특성 및 파rameter 공간에서의 정량적 지표를 사용하여, 중간 크기의 예술적 데이터셋(RASTA)에서 미세조정한 후 더 작은 데이터셋을 대상으로 미세조정할 경우, 과제가 다를지라도 분류 성능이 향상됨을 보여주며, 이는 높은 층에서 필터의 적응과 클래스 집중도 향상 덕분이다.

ABSTRACT

Transfer learning from huge natural image datasets, fine-tuning of deep neural networks and the use of the corresponding pre-trained networks have become de facto the core of art analysis applications. Nevertheless, the effects of transfer learning are still poorly understood. In this paper, we first use techniques for visualizing the network internal representations in order to provide clues to the understanding of what the network has learned on artistic images. Then, we provide a quantitative analysis of the changes introduced by the learning process thanks to metrics in both the feature and parameter spaces, as well as metrics computed on the set of maximal activation images. These analyses are performed on several variations of the transfer learning procedure. In particular, we observed that the network could specialize some pre-trained filters to the new image modality and also that higher layers tend to concentrate classes. Finally, we have shown that a double fine-tuning involving a medium-size artistic dataset can improve the classification on smaller datasets, even when the task changes.

연구 동기 및 목표

• 사전 훈련된 CNN이 전이학습을 통해 예술적 이미지 데이터셋에 어떻게 적응하는지 이해하기 위해.
• 특성 및 파rameter 공간에서의 네트워크 표현에 대한 미세조정의 영향을 조사하기 위해.
• 중간 크기의 예술적 데이터셋에서의 중간 단계 미세조정이 더 작은 후행 예술 분류 작업에서의 성능을 향상시키는지 평가하기 위해.
• 특성 시각화와 정량적 지표를 사용하여, 미세조정 중 필터와 특성 활성화의 구조적 변화를 분석하기 위해.

제안 방법

• 예술적 이미지에서 CNN이 학습한 내부 표현을 해석하기 위해 특성 시각화 기법을 적용하였다.
• 특성 및 파rameter 공간에서의 변화를 정량화하기 위해 선형 중심화된 커널 일치도(CKA)와 ℓ₂ 거리를 사용하였다.
• 최대 활성화 이미지 집합에 대한 겹침 비율과 엔트로피를 계산하여 필터의 전문화도와 구조적 변화를 평가하였다.
• 다양한 미세조정 전략을 비교: 직접적으로 작은 데이터셋에서의 미세조정, 중간 예술 데이터셋(RASTA)을 거쳐서의 미세조정, 그리고 초기화 없이부터 학습하는 것.
• 두 개의 예술 데이터셋에서 성능을 평가: Paintings(물체 분류)와 IconArt(상징적 분류).
• 다른 초기화 및 미세조정 방식을 사용하여 InceptionV1 아키텍처를 기반으로 모델을 훈련하고 비교하였다.

실험 결과

연구 질문

• RQ1 사전 훈련된 CNN의 내부 표현은 예술적 이미지 데이터셋에서 미세조정될 때 어떻게 변화하는가?
• RQ2 중간 크기의 예술적 데이터셋(RASTA)에서의 미세조정이 더 작은 후행 예술 분류 작업에서의 성능을 어느 정도 향상시키는가?
• RQ3 네트워크의 낮은 층과 높은 층에서의 필터는 예술적 이미지에서의 미세조정 과정에서 다르게 전문화되는가?
• RQ4 CKA와 ℓ₂ 노름과 같은 정량적 지표는 예술적 이미지 맥락에서 전이학습 동안 적응 정도를 어떻게 반영하는가?

주요 결과

• 중간 크기의 예술적 데이터셋(RASTA)에서의 사전 미세조정 후 더 작은 데이터셋을 대상으로 한 미세조정이 분류 성능을 크게 향상시켰으며, IconArt 데이터셋에서 평균 정밀도 67.4%, Paintings 데이터셋에서 65.6%를 기록하였다.
• 이중 미세조정 전략(RASTA → 타겟 데이터셋)이 가장 높은 성능을 기록하였으며, 직접적인 미세조정과 공급된 특성 사용 전략보다 뛰어났다.
• 미세조정 후 네트워크의 높은 층에서 클래스 집중도가 증가하여 더 구분력 있는 특성 학습이 이루어졌음을 나타냈다.
• 일부 사전 훈련된 필터는 예술적 모odalitiy에 맞게 전문화되었고, 새로운 고도로 구조화된 필터들이 미세조정 과정에서 새로이 생성되었다.
• 이중 미세조정 후 최종 모델과 ImageNet 사전 훈련 모델 간의 CKA 유사도는 IconArt에서 0.73, Paintings에서 0.76로 떨어졌으며, 이는 상당한 구조적 적응을 의미한다.
• RASTA에서부터 초기화하여 직접 학습한 모델은 성능이 열악했으며(각각 49.1% 및 50.1%), ImageNet에서 초기화한 모델보다 열 劣했다. 이는 RASTA만으로는 양호한 초기화에 부족함을 의미한다.