[논문 리뷰] Transfer Learning for Illustration Classification

Manuel Lagunas, Elena Garcés|arXiv (Cornell University)|2017. 01. 01.

Advanced Image and Video Retrieval Techniques참고 문헌 1인용 수 10

한 줄 요약

이 논문은 새로운 코어티드 일러스트레이션 이미지 데이터셋을 기반으로 사전 훈련된 VGG19 네트워크를 미세조정하여 일러스트레이션의 이미지 분류 성능을 향상시키기 위한 전이 학습 접근법을 제안한다. 예술적 스타일에 적응하기 위해 하위 컨볼루션 레이어만 재학습하면서 고수준 특징을 유지함으로써, 이 방법은 일러스트레이션에서 86.61%의 top-1 정확도를 달성하고 자연 이미지에서도 강력한 성능을 유지하며, 기준 VGG19보다 새로운 도메인에서 top-1 정확도가 60% 이상 높아졌다.

ABSTRACT

The field of image classification has shown an outstanding success thanks to the development of deep learning techniques. Despite the great performance obtained, most of the work has focused on natural images ignoring other domains like artistic depictions. In this paper, we use transfer learning techniques to propose a new classification network with better performance in illustration images. Starting from the deep convolutional network VGG19, pre-trained with natural images, we propose two novel models which learn object representations in the new domain. Our optimized network will learn new low-level features of the images (colours, edges, textures) while keeping the knowledge of the objects and shapes that it already learned from the ImageNet dataset. Thus, requiring much less data for the training. We propose a novel dataset of illustration images labelled by content where our optimized architecture achieves $ extbf{86.61\%}$ of top-1 and $ extbf{97.21\%}$ of top-5 precision. We additionally demonstrate that our model is still able to recognize objects in photographs.

연구 동기 및 목표

• 일러스트레이션과 만화와 같은 천연 이미지 도메인 외부에서 사전 훈련된 딥 네트워크(예: VGG19)의 열악한 성능을 해결하기 위해.
• 초기 학습에서부터 다시 훈련하지 않고도 예술적 묘사에 맞게 딥 특징을 적응시키는 전이 학습 전략을 개발하기 위해.
• 기준으로 사용하기 위한 콘텐츠 기반 레이블링이 된 일러스트레이션 이미지의 새로운 코어티드 데이터셋을 구축하기 위해.
• 적응된 모델이 자연 이미지에서 일반화 능력을 유지하는지 평가하기 위해.
• 저수준 특징 적응이 다양한 시각적 추상화 수준에서 분류 성능에 미치는 영향을 조사하기 위해.

제안 방법

• 일러스트레이션 이미지의 코어티드 데이터셋에서 사전 훈련된 VGG19 네트워크의 하위 컨볼루션 레이어만 미세조정하여 저수준 특징(선, 질감, 색상)을 예술적 스타일에 적응시키기 위해.
• 이중 단계 접근법을 사용: 첫째, 최적화된 네트워크에서 추출한 특징을 기반으로 서포트 벡터 머신(SVM)을 훈련하고, 둘째, 성능 향상을 위해 소프트맥스 분류기를 사용해 전체 네트워크를 재학습한다.
• ImageNet에서 학습한 고수준 객체 및 형태 표현을 유지하면서도 새로운 도메인 통계에 적응하기 위해 계층별 적응 최적화를 적용한다.
• 두 번째 완전 연결 레이어에서 이미지 기술 특징을 추출하고, t-SNE 시각화를 통해 특징이 클래스별로 잘 분리되어 있음을 확인한다.
• SVM 하이퍼파rameter(시그모이드 커널, C=10, γ=0.0001)를 최적화하기 위해 3중 교차 검증을 적용한다.
• 최종 모델을 코어티드 일러스트레이션과 소규모 자연 이미지 세트에서 평가하여 이식 가능성과 내성 강도를 테스트한다.

실험 결과

연구 질문

• RQ1 전이 학습이 고도로 추상화된 일러스트레이션 이미지를 분류하는 데 효과적으로 작용할 수 있는가?
• RQ2 전체 미세조정이나 특징 기반 전이와 비교해 하위 레이어만 미세조정하는 것이 예술적 묘사에서의 성능에 어떤 영향을 미치는가?
• RQ3 도메인 적응 후에 적응된 모델이 자연 이미지를 분류할 능력을 어느 정도 유지하는가?
• RQ4 저수준 특징 적응이 네트워크의 다양한 시각적 스타일 간 일반화 능력에 어떤 영향을 미치는가?
• RQ5 원시적이거나 노이즈가 많은 데이터를 사용하는 것과 비교해 코어티드 일러스트레이션 데이터셋이 분류 정확도를 향상시킬 수 있는가?

주요 결과

• 제안된 최적화된 VGG19 + SVM 모델은 코어티드 일러스트레이션 데이터셋에서 86.61%의 top-1 정확도와 97.21%의 top-5 정확도를 달성했으며, 기준 VGG19 + SVM보다 24.1% 향상된 성능을 보였다.
• 이 모델은 일러스트레이션 데이터셋에서 원래 VGG19보다 top-1 정확도가 60% 이상 높아졌으며, 이는 계층별 미세조정의 효과성을 입증한다.
• 구조적 수정에도 불구하고, 사진과 같은 질적 결과에서 자연 이미지에서도 강력한 성능을 유지하고 있다.
• t-SNE 시각화 결과, 최적화된 네트워크가 분류에 효과적으로 사용할 수 있는 분리된 클래스 기반 이미지 기술 특징을 학습하고 있음을 확인했다.
• 실패 사례는 주로 시각적 급격한 특징이 없거나 다른 클래스와 유사한 특징을 가진 경우로, 높은 추상화 수준에서 일반화 능력의 한계를 보여준다.
• 결과적으로, 저수준 적응 후에도 고수준 객체 표현이 이식 가능함을 시사하며, 네트워크의 도메인 간 내성 강도를 뒷받침한다.