[논문 리뷰] A Comprehensive Review of Visual-Textual Sentiment Analysis from Social Media Networks

Israa Khalaf Salman Al-Tameemi, Mohammad‐Reza Feizi‐Derakhshi외 2명|arXiv (Cornell University)|2022. 07. 05.

Sentiment Analysis and Opinion Mining인용 수 13

한 줄 요약

이 논문은 소셜 미디어에서 시각적-텍스트 감성 분석에 대한 종합적인 리뷰를 제시하며, 딥 러닝 및 머신 러닝 기법을 사용하여 다중모달 데이터(텍스트 및 이미지)를 통합한다. 사전 처리, 특징 추출, 융합 전략, 벤치마크 데이터셋의 방법론을 통합하여, 다중모달 접근 방식이 단일모달 대비 감성 분류 정확도와 다양한 분야(예: 헬스케어, 정치, 엔터테인먼트)에서의 적용 가능성을 뛰어나게 한다고 보여준다.

ABSTRACT

Social media networks have become a significant aspect of people's lives, serving as a platform for their ideas, opinions and emotions. Consequently, automated sentiment analysis (SA) is critical for recognising people's feelings in ways that other information sources cannot. The analysis of these feelings revealed various applications, including brand evaluations, YouTube film reviews and healthcare applications. As social media continues to develop, people post a massive amount of information in different forms, including text, photos, audio and video. Thus, traditional SA algorithms have become limited, as they do not consider the expressiveness of other modalities. By including such characteristics from various material sources, these multimodal data streams provide new opportunities for optimising the expected results beyond text-based SA. Our study focuses on the forefront field of multimodal SA, which examines visual and textual data posted on social media networks. Many people are more likely to utilise this information to express themselves on these platforms. To serve as a resource for academics in this rapidly growing field, we introduce a comprehensive overview of textual and visual SA, including data pre-processing, feature extraction techniques, sentiment benchmark datasets, and the efficacy of multiple classification methodologies suited to each field. We also provide a brief introduction of the most frequently utilised data fusion strategies and a summary of existing research on visual-textual SA. Finally, we highlight the most significant challenges and investigate several important sentiment applications.

연구 동기 및 목표

• 다중모달 NLP 및 컴퓨터 비전 분야의 연구자들에게 시각적-텍스트 감성 분석(V-TSA) 기법에 대한 체계적인 개요를 제공하기 위해.
• 소셜 미디어 플랫폼에서의 텍스트 및 시각적 감성 신호를 융합하는 데 있어 핵심적인 과제를 식별하고 분류하기 위해.
• 기존 분류 모델, 특징 추출 방법, 데이터 융합 전략의 성능 및 한계를 평가하기 위해.
• 헬스케어, 주식 시장 예측, 정치적 경향 예측 등 분야에서 V-TSA의 실생활 응용을 부각하기 위해.
• 기준 데이터셋, 사전 처리 파이프라인, 최첨단 방법론을 요약하여 향후 연구의 기초 자료로 기여하기 위해.

제안 방법

• 체계적인 문헌 고찰 원칙을 적용하여 기존의 시각적-텍스트 감성 분석 연구를 조사하고 분류하기 위해.
• 텍스트 및 시각 데이터에 대한 사전 처리 기법을 분류하기 위해, 예를 들어 텍스트 토큰화, 이미지 리사이징, 정규화 등을 포함한다.
• TF-IDF, 워드 임베딩(예: Word2Vec), 그리고 이미지 및 텍스트 표현을 위한 딥 러닝 기반의 CNN 등의 특징 추출 방법을 검토하기 위해.
• 조기 융합, 후기 융합, 조기-융합 후기 융합과 같은 데이터 융합 전략을 분석하며, 주의 메커니즘과 연결 기반 융합에 중점을 둔다.
• SVM, 랜덤 포레스트, 딥 네ural 네트워크(DNNs)와 같은 분류 모델을 다중모달 감성 분류에 적용하여 평가하기 위해.
• 가장 널리 사용되는 기준 데이터셋(예: VGG-Face, Twitter-CK, Semeval 데이터셋)과 V-TSA에서의 평가 프로토콜을 매핑하기 위해.

실험 결과

연구 질문

• RQ1 감성 분석에서 텍스트 및 시각 데이터에 대해 가장 효과적인 사전 처리 및 특징 추출 기법은 무엇인가?
• RQ2 다양한 데이터 융합 전략(조기, 후기, 조기-융합)이 시각적-텍스트 감성 분류 모델의 성능에 어떤 영향을 미치는가?
• RQ3 소셜 미디어 콘텐츠에서 시각적 및 텍스트 감성 신호를 융합하는 데 있어 핵심적인 한계와 과제는 무엇인가?
• RQ4 단일모달 기반 모델 대비 다중모달 감성 분석에서 뛰어난 성능을 보이는 분류 모델 및 아키텍처는 무엇인가?
• RQ5 시각적-텍스트 감성 분석의 가장 두드러진 실생활 응용은 무엇이며, 다중모달 융합은 어떻게 이를 향상시키는가?

주요 결과

• 특히 시각적 및 텍스트 데이터를 융합한 다중모달 감성 분석은 감성 분류 정확도에서 단일모달 접근 방식을 뛰어나게 한다.
• 컨볼루션 신경망(CNNs)은 시각적 특징 학습에서 뛰어난 성능을 보이며, 이미지 기반 감성 인식에서 인간 수준의 성능에 가까워지고 있다.
• 주의 기반 후기 융합과 같은 데이터 융합 전략은 텍스트와 이미지에서 유사한 신호를 활용하여 감성 예측 성능을 크게 향상시킨다.
• VGG-Face 및 Twitter-CK와 같은 기준 데이터셋은 표준화된 평가 자원을 제공하지만, 종종 클래스 불균형과 다양성 부족 문제를 야기한다.
• 헬스케어, 정치 예측, 박스오피스 예측 분야에서의 응용은 시각적-텍스트 감성 분석이 텍스트 전용 분석보다 더 정확하고 맥락 인식 능력이 뛰어난 통찰을 제공함을 보여준다.
• 진전이 있었음에도 불구하고, 맥락 이해, 아이러니 감지, 다문화 감성 차이 등 다중모달 환경에서 여전히 도전 과제가 남아 있다.