[논문 리뷰] OutdoorSent: Can Semantic Features Help Deep Learning in Sentiment Analysis of Outdoor Images?

Wyverson Bonasoli de Oliveira, Leyza Baldo Dorini외 2명|arXiv (Cornell University)|2019. 06. 05.

Human Mobility and Location-Based Analysis인용 수 1

한 줄 요약

이 논문은 깊이 학습 프레임워크를 제안하여 외부 환경의 소셜 미디어 이미지의 감성 분석을 향상시킨다. 이는 컨볼루션 네트워크(CNN) 특징과 의미적 환경 특징을 통합함으로써 이루어지며, 다양한 아키텍처에서 정확도 향상과 다중 데이터셋 일반화 능력 향상이 입증된다. 특히 외부 환경 전용 데이터가 실내 이미지보다 더 효과적임을 보여준다.

ABSTRACT

Opinion mining in outdoor images posted by users during different activities can provide valuable information to better understand urban areas. In this regard, we propose a framework to classify the sentiment of outdoor images shared by users on social networks. We compare the performance of state-of-the-art ConvNet architectures, and one specifically designed for sentiment analysis. We also evaluate how the merging of deep features and semantic information derived from the scene attributes can improve classification and cross-dataset generalization performance. The evaluation explores a novel dataset, namely OutdoorSent, and other datasets publicly available. We observe that the incorporation of knowledge about semantic attributes improves the accuracy of all ConvNet architectures studied. Besides, we found that exploring only images related to the context of the study, outdoor in our case, is recommended, i.e., indoor images were not significantly helpful. Furthermore, we demonstrated the applicability of our results in the city of Chicago, USA, showing that they can help to improve the knowledge of subjective characteristics of different areas of the city. For instance, particular areas of the city tend to concentrate more images of a specific class of sentiment, which are also correlated with median income, opening up opportunities in different fields.

연구 동기 및 목표

• 소셜 미디어에서 공유되는 외부 환경 이미지의 감성을 분류하기 위한 깊이 학습 프레임워크를 개발하는 것.
• 깊이 컨볼루션 특징과 의미적 환경 특징을 통합함으로써 감성 분류 성능에 미치는 영향을 평가하는 것.
• 특히 실제 도시 환경에서의 맥락에서 모델의 일반화 능력을 평가하는 것.
• 외부 환경 전용 이미지가 도시 환경에서의 감성 분석에 실내 이미지보다 더 유용한지 탐구하는 것.

제안 방법

• 외부 환경 이미지에서 깊이 특징을 추출하기 위해 최신의 ConvNet 아키텍처를 사용하며, 감성 분석에 특화된 하나의 아키텍처도 포함한다.
• 사전 훈련된 모델을 사용하여 이미지에서 의미적 특징을 추출함으로써 조명, 날씨, 도시 요소와 같은 환경 수준의 맥락을 포착한다.
• 깊이 특징과 의미적 특징을 연결 또는 주의 기반 융합 메커니즘을 통해 융합하여 표현 학습을 풍부하게 한다.
• 성능과 일반화 능력을 평가하기 위해 새로운 데이터셋인 OutdoorSent과 공개된 벤치마크에서 융합 모델을 훈련하고 평가한다.
• 실제 도시 데이터(미국 시카고)를 활용하여 도시의 다양한 이웃 지역에서 감성 분포를 분석한다.
• 학습된 표현의 강건성과 이식 가능성(transferability)을 테스트하기 위해 다중 데이터셋 평가를 수행한다.

실험 결과

연구 질문

• RQ1 의미적 특징을 깊이 특징과 융합함으로써 외부 환경 이미지의 감성 분류 정확도가 향상되는가?
• RQ2 다양한 ConvNet 아키텍처에서 제안된 프레임워크의 성능는 외부 환경 이미지 감성 분석에서 어떻게 비교되는가?
• RQ3 외부 환경 전용 이미지가 실내 이미지보다 감성 분류에 얼마나 기여하는가?
• RQ4 모델은 다양한 데이터셋과 도시 환경 간에 효과적으로 일반화되는가?
• RQ5 도시 지역의 감성 분포와 중앙값 소득과 같은 사회경제적 지표 간의 상관관계는 무엇인가?

주요 결과

• 의미적 특징의 통합은 평가된 모든 ConvNet 아키텍처에서 감성 분류 정확도를 일관되게 향상시킨다.
• 외부 환경 이미지로만 훈련된 모델가 실내 이미지를 포함한 모델보다 성능이 뛰어나며, 이는 실내 데이터가 이 맥락에서 성능 향상에 기여하지 않는다는 것을 시사한다.
• 제안된 프레임워크는 다중 데이터셋 일반화 능력 향상을 보이며, 다양한 도시 환경에서의 강건성을 시사한다.
• 시카고의 감성 분포는 중앙값 소득과 같은 사회경제적 요소와 상관관계가 있으며, 이는 도시 계획 및 사회과학 연구에 실질적인 응용 가능성을 보여준다.
• 모델는 특정 도시 지역에서 감성 클러스터를 성공적으로 식별하여 도시 공간의 주관적 특성을 드러낸다.