[논문 리뷰] Do Better ImageNet Models Transfer Better... for Image Recommendation?

Felipe del-Rio, Pablo Messina외 2명|arXiv (Cornell University)|2018. 07. 25.

Multimodal Machine Learning Applications참고 문헌 16인용 수 6

한 줄 요약

이 연구는 상위 성능을 내는 ImageNet 모델이 예술적 이미지 추천에 효과적으로 전이되는지 조사한다. UGallery의 실생활 예술 작품 데이터셋을 사용해 ResNet을 미세조정한 결과, ImageNet 정확도가 전이 성능을 예측하지 못함을 발견했으며, ResNet은 ImageNet 점수가 낮음에도 불구하고 NASNet을 능가함을 확인함. 타겟 데이터셋에 대한 깊은 미세조정은 고정된 특징 추출이나 浅층 미세조정보다 추천 성능을 크게 향상시킴.

ABSTRACT

Visual embeddings from Convolutional Neural Networks (CNN) trained on the ImageNet dataset for the ILSVRC challenge have shown consistently good performance for transfer learning and are widely used in several tasks, including image recommendation. However, some important questions have not yet been answered in order to use these embeddings for a larger scope of recommendation domains: a) Do CNNs that perform better in ImageNet are also better for transfer learning in content-based image recommendation?, b) Does fine-tuning help to improve performance? and c) Which is the best way to perform the fine-tuning? In this paper we compare several CNN models pre-trained with ImageNet to evaluate their transfer learning performance to an artwork image recommendation task. Our results indicate that models with better performance in the ImageNet challenge do not always imply better transfer learning for recommendation tasks (e.g. NASNet vs. ResNet). Our results also show that fine-tuning can be helpful even with a small dataset, but not every fine-tuning works. Our results can inform other researchers and practitioners on how to train their CNNs for better transfer learning towards image recommendation systems.

연구 동기 및 목표

• 상위 수준의 ILSVRC 성능을 보이는 ImageNet 모델이 예술 분야의 콘텐츠 기반 이미지 추천에 잘 일반화되는지 평가하기.
• 미세조정이 이미지 추천 작업의 전이 학습 성능을 향상시키는지 조사하기.
• 다양한 미세조정 전략(깊은 vs. 浅층)과 추천 정확도에 미치는 영향을 비교하기.
• 미세조정 중에 예술가, 매체, 시대 등을 예측하는 다중태스크 학습이 추천 성능 향상에 효과적인지 평가하기.

제안 방법

• UGallery의 익명화된 거래 데이터를 사용해 실생활 예술 작품 추천 작업에서 다섯 가지 사전 학습된 CNN(ResNet, VGG19, NASNet, InceptionResNetV2, DenseNet)을 평가함.
• 각 사전 학습된 모델의 최종 완전 연결층에서 시각적 임베딩을 추출해 추천에 사용할 고정된 특징으로 활용함.
• 깊은 및 얕은 미세조정을 수행: 깊은 조정은 모든 합성곱층을 업데이트함; 얕은 조정은 공유 표현층만 업데이트함.
• UGallery 데이터셋(6,040건의 예술 작품, 4,099건의 구매 기록)을 미세조정 및 평가에 사용하고, 비교를 위해 더 큰 보조 데이터셋인 Omniart(100만 건 이상의 예술 작품)도 활용함.
• 표준 평가 지표(예: top-k 정확도)를 사용해 고정된 특징 추출, 얕은 미세조정, 깊은 미세조정, 다중태스크 학습의 성능을 평가하고 비교함.
• 다양한 메타데이터(예술가, 매체, 시대)를 미세조정 중 보조 학습 목표로 사용했을 때의 영향을 평가하기 위해 분석 실험을 수행함.

실험 결과

연구 질문

• RQ1 RQ1: ImageNet에서 높은 성능을 내는 CNN 모델일수록 콘텐츠 기반 이미지 추천에서 전이 학습 성능도 뛰어나나?
• RQ2 RQ2: 미세조정이 이미지 추천 작업의 성능 향상에 기여하는가?
• RQ3 RQ3: 미세조정을 수행할 때 가장 효과적인 방법은 무엇인가?(예: 깊은 vs. 얕은, 타겟 데이터셋 선택)

주요 결과

• 모델의 ImageNet ILSVRC 도전 대회에서의 성능과 예술적 이미지 추천 성능 간 강한 상관관계가 없음; ImageNet에서 상위 성능을 내는 NASNet과 InceptionResNetV2는 추천 작업에서 ResNet과 VGG19에 비해 뒤처남.
• 고정된 특징 추출 대비 미세조정이 추천 성능을 크게 향상시키며, 모든 지표에서 깊은 미세조정이 얕은 미세조정보다 뛰어남.
• 타겟 데이터셋(UGallery)에서의 미세조정은 더 크고 다양한 데이터셋인 Omniart를 사용한 것보다 훨씬 더 좋은 성능을 내며, 이는 Omniart가 추천 작업에 대표되지 않는 도메인 이격된 데이터(예: 조각, 마스크 등)를 포함할 수 있기 때문임.
• 예술가 예측을 포함한 다중태스크 학습은 단일태스크 학습과 유의미한 성능 차이를 보이지 않았지만, 매체 예측은 클래스 불균형(60% 오일 페인팅)으로 인해 성능이 악화됨.
• 최고 성능을 낸 모델은 이전의 메타데이터에 의존한 연구를 뛰어넘는 최신 기술 수준의 성능을 달성함.
• 실제 추천 데이터셋(UGallery)에서의 미세조정이 핵심이었음; 더 많은 데이터를 가진 다른 데이터셋(Omniart)을 사용해도 성능이 열악함.