[논문 리뷰] DeepSentiBank: Visual Sentiment Concept Classification with Deep Convolutional Neural Networks

Tao Chen, Damian Borth외 2명|arXiv (Cornell University)|2014. 10. 30.

Image Retrieval and Classification Techniques참고 문헌 35인용 수 270

한 줄 요약

이 논문은 ImageNet에서의 전이 학습을 통해 시각적 감성 개념을 형용사-명사 조합(ANP)으로 분류하는 딥 컨volution 신경망(CNN) 기반 모델인 DeepSentiBank을 제안한다. ANP 태그가 부여된 100만 장의 Flickr 이미지에서 미세조정(fine-tuning)을 수행함으로써, 기존의 SVM 기반 SentiBank 방법에 비해 상위 1위 정확도에서 최대 370% 향상되고 상위 10위 정확도에서 150% 향상되는 등 뚜렷한 성능 향상을 이루었으며, 감성 개념 주석 처리 및 이미지 검색 모두에서 뛰어난 성능을 보였다.

ABSTRACT

This paper introduces a visual sentiment concept classification method based on deep convolutional neural networks (CNNs). The visual sentiment concepts are adjective noun pairs (ANPs) automatically discovered from the tags of web photos, and can be utilized as effective statistical cues for detecting emotions depicted in the images. Nearly one million Flickr images tagged with these ANPs are downloaded to train the classifiers of the concepts. We adopt the popular model of deep convolutional neural networks which recently shows great performance improvement on classifying large-scale web-based image dataset such as ImageNet. Our deep CNNs model is trained based on Caffe, a newly developed deep learning framework. To deal with the biased training data which only contains images with strong sentiment and to prevent overfitting, we initialize the model with the model weights trained from ImageNet. Performance evaluation shows the newly trained deep CNNs model SentiBank 2.0 (or called DeepSentiBank) is significantly improved in both annotation accuracy and retrieval performance, compared to its predecessors which mainly use binary SVM classification models.

연구 동기 및 목표

• 웹 이미지 태그에서 파생된 형용사-명사 조합(ANP)으로서 중위 감성 개념을 모델링하여 시각적 감성 분석을 향상시키기 위해.
• 기존의 이진 SVM 분류기의 한계를 극복하고, 추상적이고 주관적인 시각적 감성을 딥 러닝을 통해 분류하는 데 도전하기 위해.
• ImageNet에서의 사전 훈련을 통해 제한적이고 감성 편향이 있는 훈련 데이터에서 과적합을 줄이고 일반화 성능을 향상시키기 위해.
• 기존 SentiBank 모델에 비해 감성 개념 주석 처리 정확도와 이미지 검색 성능을 향상시키기 위해.
• 대규모 웹 데이터를 활용한 정감성 이미지 이해를 위한 확장 가능한 딥 러닝 기반 프레임워크를 구축하기 위해.

제안 방법

• 모델는 Krizhevsky 등(2012)의 영향을 받은 딥 컨volution 신경망(CNN) 아키텍처를 사용하며, ImageNet 데이터셋에서 전이 학습을 위해 훈련된다.
• ImageNet에서 사전 훈련된 가중치를 사용하여 CNN를 초기화함으로써, 더 작은 감성 편향이 있는 ANP 데이터셋에서 과적합을 줄이고 수렴 속도를 향상시킨다.
• Caffe 딥 러닝 프레임워크를 사용하여 약 100만 장의 ANP 태그가 부여된 Flickr 이미지 데이터셋에서 네트워크를 미세조정한다.
• CNN의 최종 완전 연결층에서 이미지 수준의 특징을 추출하여 ANP 분류 및 검색에 사용한다.
• 분류 성능 평가에는 상위 1위, 상위 5위, 상위 10위 정확도를 사용하며, 검색 성능 평가에는 상위 20위에서의 평균 정밀도(mAP)를 사용한다.
• 객체 위치 지정 또는 의미적 유사도 모델링을 포함하지 않으며, 기준 비교를 위해 전체 이미지 표현에 집중한다.

실험 결과

연구 질문

• RQ1 ImageNet 사전 훈련을 통한 딥 CNN은 기존의 SVM 기반 모델에 비해 시각적 감성 개념 분류 정확도를 크게 향상시킬 수 있는가?
• RQ2 일반적인 이미지 데이터셋(ImageNet)에서의 전이 학습이 특수화된 감성 편향이 있는 ANP 데이터셋에서의 성능 향상에 어떻게 기여하는가?
• RQ3 ANP 레이블이 부여된 이미지에서 사전 훈련된 CNN을 미세조정함으로써 주석 처리 및 검색 성능 향상 정도는 어느 정도인가?
• RQ4 다양한 평가 지표(상위 1위, 상위 5위, 상위 10위, mAP)에서 딥 러닝 모델의 성능 향상 정도는 어떻게 비교되는가?
• RQ5 전체 이미지에서 훈련된 딥 러닝 모델은 국소화 또는 유사도 향상 기능을 사용한 이전 방법보다 성능이 뛰어나게 작동할 수 있는가?

주요 결과

• DeepSentiBank는 전체 2,089개의 ANP 개념 세트에서 SentiBank 1.1 대비 상위 1위 정확도가 370% 향상되어 8.16%에서 1.71%로 향상되었다.
• SentiBank 1.1 대비 상위 10위 정확도가 150% 향상되어 26.10%에서 10.29%로 향상되어 다중 클래스 예측에서 뚜렷한 성과를 보였다.
• 사전 훈련된 모델을 미세조정함으로써 비-미세조정 버전 대비 14~25%의 성능 향상이 이루어졌으며, 도메인 특화 적응의 가치를 입증했다.
• 1,200개의 고감지성 ANP 서브셋에서 DeepSentiBank는 상위 1위 정확도 14.36%를 기록하여 SentiBank 1.1의 3.04%를 초과 300% 이상 앞서는 성능을 보였다.
• 이미지 검색에서 DeepSentiBank는 SentiBank 1.1 대비 평균 정밀도(mAP)가 62.3% 높았으며, SentiBank 1.5R 대비 8.9% 높은 성능을 기록했으며, 국소화나 유사도 모델링을 사용하지 않았음에도 불구하고 성능이 뛰어났다.
• 노이즈가 있거나 완벽하지 않은 가짜 진실 레이블(weak supervision) 조건에서도 관련 ANP를 성공적으로 탐지하여, 약한 감독 환경에서도 강건함을 입증했다.