[論文レビュー] A Comprehensive Review of Visual-Textual Sentiment Analysis from Social Media Networks

Israa Khalaf Salman Al-Tameemi, Mohammad‐Reza Feizi‐Derakhshi+2 more|arXiv (Cornell University)|Jul 5, 2022

Sentiment Analysis and Opinion Mining被引用数 13

ひとこと要約

本論文は、ソーシャルメディアにおける視覚的・文脈的センチメント分析について包括的なレビューを提示し、ディープラーニングおよび機械学習技術を用いてマルチモーダルデータ（テキストと画像）を統合する。前処理、特徴抽出、統合戦略、ベンチマークデータセットの手法を統合的に検討し、医療、政治、エンターテインメントなどの分野において、マルチモーダル手法が単一モーダル手法よりもセンチメント分類の精度と適用可能性に優れていることを示している。

ABSTRACT

Social media networks have become a significant aspect of people's lives, serving as a platform for their ideas, opinions and emotions. Consequently, automated sentiment analysis (SA) is critical for recognising people's feelings in ways that other information sources cannot. The analysis of these feelings revealed various applications, including brand evaluations, YouTube film reviews and healthcare applications. As social media continues to develop, people post a massive amount of information in different forms, including text, photos, audio and video. Thus, traditional SA algorithms have become limited, as they do not consider the expressiveness of other modalities. By including such characteristics from various material sources, these multimodal data streams provide new opportunities for optimising the expected results beyond text-based SA. Our study focuses on the forefront field of multimodal SA, which examines visual and textual data posted on social media networks. Many people are more likely to utilise this information to express themselves on these platforms. To serve as a resource for academics in this rapidly growing field, we introduce a comprehensive overview of textual and visual SA, including data pre-processing, feature extraction techniques, sentiment benchmark datasets, and the efficacy of multiple classification methodologies suited to each field. We also provide a brief introduction of the most frequently utilised data fusion strategies and a summary of existing research on visual-textual SA. Finally, we highlight the most significant challenges and investigate several important sentiment applications.

研究の動機と目的

• マルチモーダルNLPおよびコンピュータビジョン分野の研究者を対象に、視覚的・文脈的センチメント分析（V-TSA）技術の体系的概要を提供すること。
• ソーシャルメディアプラットフォームからのテキストおよび視覚的センチメント信号を統合する際の主な課題を特定し、分類すること。
• V-TSAにおける既存の分類モデル、特徴抽出手法、データ統合戦略のパフォーマンスと限界を評価すること。
• 医療、株式市場の予測、政治的トレンド予測などの分野におけるV-TSAの実世界応用を強調すること。
• ベンチマークデータセット、前処理パイプライン、最先端の手法を要約することで、今後の研究の基盤となる基盤的リファレンスを提供すること。

提案手法

• 体系的文献レビューの原則に従い、視覚的・文脈的センチメント分析分野における既存研究を調査・分類すること。
• テキストおよび視覚的データの前処理技術を分類し、テキストのトークン化、画像のリサイズ、正規化などを含む。
• TF-IDF、ワードエムベディング（例：Word2Vec）、画像およびテキスト表現のためのディープラーニングベースのCNNなどの特徴抽出手法をレビューすること。
• アテンション機構や連結ベースの統合を強調しながら、早期統合、後期統合、早期統合後期統合などのデータ統合戦略を分析すること。
• SVM、ランダムフォレスト、ディープニューラルネットワーク（DNNs）などの分類モデルを、マルチモーダルセンチメント分類に適用した結果を評価すること。
• V-TSAにおける最も広く使われているベンチマークデータセット（例：VGG-Face、Twitter-CK、Semevalデータセット）とその評価プロトコルをマッピングすること。

実験結果

リサーチクエスチョン

• RQ1 センチメント分析におけるテキストおよび視覚的データの前処理および特徴抽出手法として、最も効果的なものは何か？
• RQ2 早期統合、後期統合、早期統合後期統合などの異なるデータ統合戦略は、視覚的・文脈的センチメント分類モデルのパフォーマンスにどのように影響するか？
• RQ3 ソーシャルメディアコンテンツにおける視覚的およびテキスト的センチメント信号を統合する際の主な制限要因と課題は何か？
• RQ4 単一モーダルベースラインと比較して、マルチモーダルセンチメント分析で優れたパフォーマンスを示す分類モデルおよびアーキテクチャは何か？
• RQ5 視覚的・文脈的センチメント分析の最も顕著な実世界応用は何か？また、それらはマルチモーダル統合によってどのように利益を得ているか？

主な発見

• 視覚的およびテキスト的データを統合するマルチモーダルセンチメント分析は、センチメント分類の精度において、常に単一モーダル手法を上回ることが確認された。
• 畳み込みニューラルネットワーク（CNNs）は、視覚的特徴学習において優れた性能を示し、画像ベースのセンチメント認識において人間水準の性能に近づいている。
• アテンションベースの後期統合などのデータ統合戦略は、テキストと画像からの補完的特徴を活用することで、センチメント予測の精度を著しく向上させた。
• VGG-Face や Twitter-CK などのベンチマークデータセットは、標準化された評価リソースを提供しているが、しばしばクラスの不均衡や多様性の欠如に悩まされている。
• 医療、政治的予測、ボックスオフィス予測の分野では、視覚的・文脈的センチメント分析が、テキストのみの分析よりもより正確で文脈に配慮したインサイトを提供できることを示している。
• 進展は見られたが、文脈理解、皮肉の検出、文化的な違いによるセンチメントの変動といった課題は、特にマルチモーダル環境において依然として残っている。