[논문 리뷰] Diving Deep into Sentiment: Understanding Fine-tuned CNNs for Visual Sentiment Prediction

Víctor Campos, Amaia Salvador외 2명|arXiv (Cornell University)|2015. 08. 20.

Visual Attention and Saliency Detection참고 문헌 33인용 수 62

한 줄 요약

이 논문은 트위터 기반 감성 데이터셋에서 시각적 감성 예측을 위한 미세조정된 컨볼루션 신경망(CNN)을 조사하며, 최종 완전히 연결된 계층(fc8)을 제거하고 더 작은 작업에 특화된 헤드로 재학습하면 성능 향상이 가능하다고 밝힌다. 성능 분석 결과, fc7 계층의 특징이 fc8 계층의 특징보다 뛰어나며, 데이터 증강 기법이 정확도를 향상시켜 새로운 최고 성능을 달성함을 입증한다.

ABSTRACT

Visual media are powerful means of expressing emotions and sentiments. The constant generation of new content in social networks highlights the need of automated visual sentiment analysis tools. While Convolutional Neural Networks (CNNs) have established a new state-of-the-art in several vision problems, their application to the task of sentiment analysis is mostly unexplored and there are few studies regarding how to design CNNs for this purpose. In this work, we study the suitability of fine-tuning a CNN for visual sentiment prediction as well as explore performance boosting techniques within this deep learning setting. Finally, we provide a deep-dive analysis into a benchmark, state-of-the-art network architecture to gain insight about how to design patterns for CNNs on the task of visual sentiment prediction.

연구 동기 및 목표

• 사전 훈련된 CNN의 미세조정이 시각적 감성 예측에 얼마나 효과적인지 평가하는 것.
• 미세조정된 CNN 아키텍처의 개별 계층이 감성 분류에 기여하는 바를 분석하는 것.
• 완전히 연결된 계층을 제거하거나 교체하는 등의 아키텍처 수정이 저자원 감성 데이터셋에서 성능 향상에 기여하는지 조사하는 것.
• 데이터 증강 및 중간 수준 표현이 감성 예측 정확도에 미치는 영향을 평가하는 것.
• 시각적 감성 분석에 특화된 CNN 아키텍처 설계 통찰을 제공하는 것.

제안 방법

• ImageNet에서 사전 훈련된 CaffeNet(아이크넷의 변종)을 사용하여 트위터 이미지 데이터셋에서 시각적 감성 예측을 위한 미세조정을 수행한다.
• 각 계층의 특징 맵에 대해 개별 분류기를 훈련시어 계층별 성능 기여도를 평가한다.
• 아키텍처 수술을 수행하여 최종 완전히 연결된 계층(fc8)을 제거하고, 새로운 더 작은 작업에 특화된 계층(fc6-4096, fc7-2 등)으로 교체한다.
• 일반적인 코팅 및 색상 왜곡과 같은 데이터 증강 기법을 적용하여 모델의 일반화 능력을 향상시킨다.
• 5개의 폴드로 나누어 5개의 동의를 기준으로 한 트위터 데이터셋을 사용하여 5-폴드 교차 검증을 수행하고, 다양한 아키텍처 간 성능을 비교한다.
• 비교를 위해 Visual Sentiment Ontology(ANP 기반)를 중간 수준 표현으로 사용하였지만, 일반적인 특징(featues from fc7)이 더 효과적임을 발견하였다.

실험 결과

연구 질문

• RQ1 미세조정된 CNN의 개별 계층이 시각적 감성 예측 정확도에 어떻게 기여하는가?
• RQ2 최종 완전히 연결된 계층(fc8)을 제거하거나 수정하면 감성 분류 성능에 어떤 영향을 미치는가?
• RQ3 기존 fc8 대신 새로운 더 작은 완전히 연결된 계층(fc9-2 등)을 추가하면 성능 향상이 이루어지는가?
• RQ4 데이터 증강 기법은 저자원 감성 예측 작업에서 미세조정된 CNN의 일반화 능력과 정확도에 어떤 영향을 미치는가?
• RQ5 중간 계층에서 유도된 일반적인 딥 특징(featues from fc7 등)이 의미론적 중간 수준 표현(예: ANP)보다 감성 예측에서 더 뛰어나게 작용하는가?

주요 결과

• fc7-4096 아키텍처를 가진 모델은 오버샘플링을 적용한 결과 정확도 0.803 ± 0.034를 기록하여 이전 최고 성능을 초월하였다.
• fc8를 제거하고 fc7를 최종 계층으로 사용함으로써 성능 향상이 뚜렷하게 이루어졌으며, 이는 [27]에서 보고된 전체 미세조정 모델의 성능과 유사하거나 이를 초월하였다.
• fc6-4096로 훈련된 모델는 일관되게 다수 클래스(긍정 감성)를 예측하여 고차원 출력과 제한된 훈련 데이터로 인한 일반화 부족을 보였다.
• fc9-2 아키텍처는 오버샘플링을 적용한 결과 정확도 0.803 ± 0.034를 기록하여 원래의 fc8-1000(0.731 ± 0.036)보다 略적으로 뛰어났다.
• fc7에서 유도된 특징가 fc8에서 유도된 특징보다 감성 예측에 더 효과적임을 발견하여, 중간 표현이 더 관련 있는 정서적 신호를 포착하고 있음을 시사한다.
• fc8에 포함된 ImageNet의 1,000개 클래스의 의미론적 개념 추가가 성능을 떨어뜨렸으며, 이는 일반적이고 감성 전용이 아닌 특징들이 감성 분류에 방해가 된다는 것을 시사한다.