[논문 리뷰] Robust Image Sentiment Analysis Using Progressively Trained and Domain Transferred Deep Networks

Quanzeng You, Jiebo Luo외 2명|arXiv (Cornell University)|2015. 09. 20.

Sentiment Analysis and Opinion Mining참고 문헌 27인용 수 213

한 줄 요약

이 논문은 점진적으로 훈련되고 도메인 이행된 모델을 사용하여 강건한 이미지 감성 분석을 위한 딥 컨volution 신경망(CNN) 프레임워크를 제안한다. 반반의 레이블이 부여된 50만 개의 Flickr 이미지와 소량의 수동으로 레이블이 부여된 Twitter 이미지에 대한 미세조정을 통해, 이 방법은 상태 기술의 성능을 달성하며, Twitter 테스트 데이터에서 F1-스코어 0.846을 기록하여 수작업 특징 또는 사전 훈련된 모델을 사용하는 기준 방법보다 뚜렷이 뛰어나다.

ABSTRACT

Sentiment analysis of online user generated content is important for many social media analytics tasks. Researchers have largely relied on textual sentiment analysis to develop systems to predict political elections, measure economic indicators, and so on. Recently, social media users are increasingly using images and videos to express their opinions and share their experiences. Sentiment analysis of such large scale visual content can help better extract user sentiments toward events or topics, such as those in image tweets, so that prediction of sentiment from visual content is complementary to textual sentiment analysis. Motivated by the needs in leveraging large scale yet noisy training data to solve the extremely challenging problem of image sentiment analysis, we employ Convolutional Neural Networks (CNN). We first design a suitable CNN architecture for image sentiment analysis. We obtain half a million training samples by using a baseline sentiment algorithm to label Flickr images. To make use of such noisy machine labeled data, we employ a progressive strategy to fine-tune the deep network. Furthermore, we improve the performance on Twitter images by inducing domain transfer with a small number of manually labeled Twitter images. We have conducted extensive experiments on manually labeled Twitter images. The results show that the proposed CNN can achieve better performance in image sentiment analysis than competing algorithms.

연구 동기 및 목표

• 대규모로 노이즈가 많은 이미지 데이터셋을 활용하여 수동으로 레이블이 부여된 시각적 감성 데이터의 제한 문제를 해결하기 위해.
• 전이 학습을 사용하여, 특히 Flickr에서 Twitter로의 도메인 간 일반화를 향상시키기 위해.
• 수작업 특징이나 특성에 의존하는 전통적 방법보다 뛰어난 성능을 내는 딥 러닝 프레임워크를 개발하기 위해.
• 소셜 미디어 분석에서 텍스트 감성 분석을 보완하기 위해 시각적 콘텐츠에서 효과적인 감성 예측을 가능하게 하기 위해.
• 진행적 훈련과 도메인 적응을 활용한 딥 CNN이 시각적 감성 분석에 대해 실현 가능하고 효과적인가를 입증하기 위해.

제안 방법

• 이미지 감성 분석에 특화된 맞춤형 딥 CNN 아키텍처를 설계하여 고수준 추상화와 감성 분류에 최적화하였다.
• 노이즈가 많은 레이블이 부여된 50만 개의 Flickr 이미지에 대해 대규모 데이터셋을 기반으로 점진적 훈련 전략을 적용하여, 노이즈 레이블에 대한 강건성을 향상시켰다.
• 소규모 수의 수동으로 레이블이 부여된 1269개의 Twitter 이미지만을 사용하여 사전 훈련된 모델을 대상 도메인에 적응시켰다.
• 대상 도메인 데이터에 대해 엔드 투 엔드로 미세조정하여 지식 전이가 가능하고, 미리 보지 않은 Twitter 이미지에 대한 성능 향상을 이끌었다.
• 정밀도, 재현율, F1-스코어와 같은 표준 지표를 사용하여 여러 테스트 세트에서 성능을 평가하였다.
• 대상 도메인에서 최소한의 레이블 데이터를 사용하여 전이 학습을 가능하게 하여 대규모 수동 레이블링에 대한 의존도를 감소시켰다.

실험 결과

연구 질문

• RQ1 대규모로 노이즈가 많은 이미지 데이터에서 훈련된 딥 CNN이 이미지 감성 분석에서 강건한 성능을 달성할 수 있는가?
• RQ2 점진적 훈련이 약한 감독 학습에서 노이즈 레이블의 영향을 완화하는 데 얼마나 효과적인가?
• RQ3 소수의 수동으로 레이블이 부여된 예시만을 사용하여 Flickr 이미지에서 훈련된 모델이 Twitter 이미지로 일반화되는 정도는 어느 정도인가?
• RQ4 도메인 특화 데이터를 사용한 엔드 투 엔드 미세조정은 고정된 특징 기반 모델 대비 감성 분류 정확도를 향상시키는가?
• RQ5 딥 네트워크가 수작업 특징 기반의 저수준 또는 중수준 시각적 특징을 사용하는 전통적 방법보다 시각적 감성 분석에서 뛰어난 성능을 내는가?

주요 결과

• 제안된 CNN은 Twitter 테스트 세트에서 F1-스코어 0.846을 기록하여, SentiBank(0.776)와 Sentribute(0.805)를 포함한 모든 기준 방법보다 뚜렷이 뛰어났다.
• 미세조정된 CNN 모델은 Twitter 테스트 세트에서 정밀도 0.905와 재현율 0.855를 기록하여, 긍정 감성 예측에 있어 뛰어난 성능을 보였다.
• 노이즈가 많은 Flickr 데이터에서 점진적 훈련을 수행한 후 1269개의 Twitter 이미지로 도메인 적응을 수행한 결과, 소스 도메인 데이터만으로 훈련된 모델보다 뚜렷한 성능 향상이 이루어졌다.
• 미세조정된 CNN 모델과 PCNN 모델 모두 유사한 성능을 기록하여, 서로 다른 초기화 조건에도 불구하고 미세조정 과정이 효과적인 국소 최적화점에 수렴하는 데 기여함을 시사했다.
• 두 모델의 상위 예측 결과는 모두 정확히 분류되었지만, 상위 긍정으로 예측된 이미지가 동일하지 않아, 서로 다른 최적화 경로로 인해 다른 학습된 표현을 가지는 것으로 나타났다.
• 저수준 특징을 사용하는 모델들 사이에서 공통된 오분류가 관찰되어, 특징 표현에 공통된 한계가 있음을 시사했으며, 반면 딥 러닝 모델은 더 일관되고 강건한 성능을 보였다.