[論文レビュー] Video (GIF) Sentiment Analysis using Large-Scale Mid-Level Ontology

Zheng Cai, Donglin Cao+1 more|arXiv (Cornell University)|Jun 2, 2015

Sentiment Analysis and Opinion Mining参考文献 6被引用数 4

ひとこと要約

本稿では、GIF動画における空間的・時間的抽象概念を感情分析のためにモデル化するため、シンセットフォレストに基づく中位レベルの視覚的感情オントロジー「SentiPair Sequence」を提案する。形容詞名詞ペア（ANP）と動詞名詞ペア（VNP）を順序付きの系列に統合することで、感情予測の正確性が72.6％に達し、ANPおよびVNPベースラインを上回った。著者らはまた、研究用に公開するため、6,000枚の手動でアノテートされたGIFを含むGSO-2015データセットをリリースした。

ABSTRACT

With faster connection speed, Internet users are now making social network a huge reservoir of texts, images and video clips (GIF). Sentiment analysis for such online platform can be used to predict political elections, evaluates economic indicators and so on. However, GIF sentiment analysis is quite challenging, not only because it hinges on spatio-temporal visual contentabstraction, but also for the relationship between such abstraction and final sentiment remains unknown.In this paper, we dedicated to find out such relationship.We proposed a SentiPairSequence basedspatiotemporal visual sentiment ontology, which forms the midlevel representations for GIFsentiment. The establishment process of SentiPair contains two steps. First, we construct the Synset Forest to define the semantic tree structure of visual sentiment label elements. Then, through theSynset Forest, we organically select and combine sentiment label elements to form a mid-level visual sentiment representation. Our experiments indicate that SentiPair outperforms other competing mid-level attributes. Using SentiPair, our analysis frameworkcan achieve satisfying prediction accuracy (72.6%). We also opened ourdataset (GSO-2015) to the research community. GSO-2015 contains more than 6,000 manually annotated GIFs out of more than 40,000 candidates. Each is labeled with both sentiment and SentiPair Sequence.

研究の動機と目的

• GIF感情分析の課題に取り組むこと。この課題は、ノイズ、不規則な長さ、比喩的表現、抽象的表現によって複雑化されている。
• GIFに内在する空間的・時間的感情抽象概念を捉える中位レベルの視覚的表現を開発すること。
• 中位レベルの視覚的表現と最終的な感情判断との関係をモデル化すること。
• 今後の研究を支援するため、大規模で手動でアノテートされたGIF感情データセット（GSO-2015）を構築・公開すること。

提案手法

• WordNetを用いてシンセットフォレストを構築し、視覚的感情ラベル要素の意味的木構造を定義する。
• シンセットフォレストから形容詞名詞ペア（ANP）と動詞名詞ペア（VNP）を抽出し、それらを組み合わせて中位レベルの感情表現を生成する。
• GIFに登場する時間的順序を反映したSentiPairの順序付き系列として、GIF感情オントロジー（GSO）を構築する。
• クラウドソーシングによるラベル付け（7名の作業者）を用い、40,000件の候補から6,000枚以上のGIFを感情とSentiPair系列の両方でアノテートする。
• 相関に基づく特徴選択と複数の分類器（SMO、ロジスティック回帰、ランダムフォレスト）を用いて性能を評価する。
• GSO-2015データセットを用いて感情分類器を学習・評価し、SentiPair SequenceがANPおよびVNPベースラインを上回ることを比較検証する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、GIF動画における高レベルの視覚的抽象概念を感情分析に効果的に表現できるか？
• RQ2 GIFにおける中位レベルの視覚的表現と最終的な感情判断との関係は何か？
• RQ3 視覚的感情要素の構造的オントロジーを用いることで、原始的な属性に比べて感情予測の正確性が向上するか？
• RQ4 SentiPair Sequenceを介して視覚的出来事の時間的順序を統合することで、感情モデリングはどのように向上するか？

主な発見

• SentiPair Sequenceは72.6％の感情予測正確性を達成し、ANPのみ（70.2％）およびVNPのみ（65.8％）のベースラインを上回った。
• 運動（VNP）と静的属性（ANP）を統合したSentiPair系列の使用は、単独で用いる場合よりも高い性能を示した。
• 相関に基づくサブセット選択による特徴選択は、使用する中位レベル属性の数を削減しながらも高い正確性を維持した。
• 感情とSentiPair系列を含む6,000枚以上の手動でアノテートされたGIFを含むGSO-2015データセットは、今後の研究を支援するため公開された。
• シンセットフォレストは、複数の意味的次元にわたる視覚的感情概念を体系的に整理するスケーラブルで意味的に根拠のあるフレームワークを提供する。
• 視覚的感情要素の時間的系列をモデル化することが、短い動画クリップにおける感情認識を顕著に向上させることを示した。