[논문 리뷰] OutdoorSent: Sentiment Analysis of Urban Outdoor Images by Using Semantic and Deep Features

Wyverson Bonasoli de Oliveira, Leyza Baldo Dorini외 2명|arXiv (Cornell University)|2019. 06. 05.

Sentiment Analysis and Opinion Mining참고 문헌 44인용 수 8

한 줄 요약

이 논문은 YOLO와 SUN의 의미적 속성과 ConvNets의 병합된 딥 특징을 사용하여 도시 외부 이미지의 정서 분석을 위한 새로운 데이터셋인 OutdoorSent를 제안한다. 의미적 환경 이해를 통합함으로써 다양한 아키텍처, 특히 간단한 아키텍처에서 정서 분류 정확도가 크게 향상됨을 보여주며, 실내 이미지는 성능 향상에 기여하지 않으며, 이 방법은 데이터셋 간 일반화 능력이 뛰어나 시카고에서의 실세계 도시 정서 맵핑을 가능하게 한다.

ABSTRACT

Opinion mining in outdoor images posted by users during different activities can provide valuable information to better understand urban areas. In this regard, we propose a framework to classify the sentiment of outdoor images shared by users on social networks. We compare the performance of state-of-the-art ConvNet architectures, and one specifically designed for sentiment analysis. We also evaluate how the merging of deep features and semantic information derived from the scene attributes can improve classification and cross-dataset generalization performance. The evaluation explores a novel dataset, namely OutdoorSent, and other datasets publicly available. We observe that the incorporation of knowledge about semantic attributes improves the accuracy of all ConvNet architectures studied. Besides, we found that exploring only images related to the context of the study, outdoor in our case, is recommended, i.e., indoor images were not significantly helpful. Furthermore, we demonstrated the applicability of our results in the city of Chicago, USA, showing that they can help to improve the knowledge of subjective characteristics of different areas of the city. For instance, particular areas of the city tend to concentrate more images of a specific class of sentiment, which are also correlated with median income, opening up opportunities in different fields.

연구 동기 및 목표

• 소셜 네트워크에서 공유되는 도시 외부 이미지의 정서를 분류하기 위한 강력한 프레임워크를 개발하는 것.
• 최신 ConvNets의 딥 특징과 YOLO 및 SUN의 의미적 속성의 조합이 정서 분류에 미치는 영향을 평가하는 것.
• 학습 중 실내 이미지를 포함시키는 것이 정서 분류 성능에 영향을 미치는지 조사하는 것.
• 제안된 방법의 데이터셋 간 일반화 성능을 평가하는 것.
• 시카고에서의 사례 연구를 통해 실세계 적용 가능성을 입증하는 것 — 정서 패턴을 도시 사회경제적 특성과 연관지켜보는 것.

제안 방법

• 프레임워크는 제안된 OutdoorSent 데이터셋으로 훈련된 다섯 가지 ConvNet 아키텍처(네 가지 일반 목적 모델과 하나의 이미지 정서 분석에 특화된 모델)를 사용한다.
• YOLO9000 및 SUN 환경 이해 모델을 활용해 도시 외부 정서와 관련된 고수준 속성인 의미적 특징을 추출한다.
• 각 ConvNet의 최종 완전 연결 층에서 추출한 딥 특징를 의미적 속성 벡터와 결합하여 하이브리드 특징 표현을 형성한다.
• 이 하이브리드 특징는 정서를 긍정, 부정, 중립으로 예측하기 위한 다중 클래스 분류기 훈련에 사용된다.
• OutdoorSent 및 공개 벤치마크 데이터셋을 대상으로 성능 비교를 수행하며, 실내 이미지 포함 여부와 모델 일반화 능력에 대한 분석 실험을 실시한다.
• 실세계 검증을 위해 시카고에서 수행되었으며, 정서 분포를 중위수 소득 및 도시 특성과 관련지어 분석하였다.

실험 결과

연구 질문

• RQ1 YOLO와 SUN의 의미적 속성 통합이 도시 외부 이미지의 정서 분류 정확도를 향상시키는가?
• RQ2 학습 중 실내 이미지를 포함시키는 것이 정서 분류 모델의 성능에 영향을 미치는가?
• RQ3 어느 ConvNet 아키텍처가 정확도 및 데이터셋 간 일반화 능력 측면에서 가장 우수한 성능를 보이는가?
• RQ4 제안된 프레임워크는 실도시 환경에서 정서 패턴을 효과적으로 식별하고 맵핑할 수 있는가?
• RQ5 특정 의미적 속성(예: 오염, 벽화, 자연 경관 등)이 도시 환경의 정서 극성에 더 예측력이 있는가?

주요 결과

• YOLO와 SUN의 의미적 속성 통합은 평가된 모든 ConvNet 아키텍처의 정확도를 유의미하게 향상시키며, 특히 간단한 모델에서 가장 뚜렷한 성과 향상이 관찰되었다.
• 학습 중 실내 이미지를 사용하는 것은 성능 향상에 기여하지 않으며, 계산 비용 증가에 비해 정당화되지 않는다.
• 가장 단순한 ConvNet 아키텍처가 평가된 모든 시나리오에서 가장 뛰어난 데이터셋 간 일반화 성능를 보였다.
• 대부분의 부정적 이미지(약 80%)는 공사 잔해, 오염, 벽화, 부실한 유지보수와 같은 도시 문제와 관련이 있다.
• 대부분의 긍정적 이미지(약 83%)는 자연 경관, 일몰, 도시 야경, 예술 기념물, 엔터테인먼트 활동과 관련이 있다.
• 기존의 환경 이해 모델인 YOLO9000과 SUN은 정서 관련 도시 외부 속성의 커버리지가 부족하여, 도메인 특화된 아키텍처 확장의 필요성을 시사한다.