[論文レビュー] Visual Affect Around the World: A Large-scale Multilingual Visual Sentiment Ontology

Brendan Jou, Tao Chen+4 more|arXiv (Cornell University)|Aug 16, 2015

Sentiment Analysis and Opinion Mining参考文献 36被引用数 23

ひとこと要約

本稿では、ソーシャルマルチメディアから抽出された形容詞＋名詞句（ANP）を用いて、文化的・言語的特異な感情的視覚的概念を捉える大規模な多言語視覚的感情認識オントロジー（MVSO）を提案する。言語に配慮した階層的クラスタリングパイプラインを導入し、12言語にまたがるANPを統合した。736万枚の画像と1万5600件の感情バイアス付き概念を含む公開データセットをリリースし、感情認識が文化的に顕著に異なることが示された。これは、感情認識計算分野における普遍的な感情表現の仮定に挑戦するものである。

ABSTRACT

Every culture and language is unique. Our work expressly focuses on the uniqueness of culture and language in relation to human affect, specifically sentiment and emotion semantics, and how they manifest in social multimedia. We develop sets of sentiment- and emotion-polarized visual concepts by adapting semantic structures called adjective-noun pairs, originally introduced by Borth et al. (2013), but in a multilingual context. We propose a new language-dependent method for automatic discovery of these adjective-noun constructs. We show how this pipeline can be applied on a social multimedia platform for the creation of a large-scale multilingual visual sentiment concept ontology (MVSO). Unlike the flat structure in Borth et al. (2013), our unified ontology is organized hierarchically by multilingual clusters of visually detectable nouns and subclusters of emotionally biased versions of these nouns. In addition, we present an image-based prediction task to show how generalizable language-specific models are in a multilingual context. A new, publicly available dataset of >15.6K sentiment-biased visual concepts across 12 languages with language-specific detector banks, >7.36M images and their metadata is also released.

研究の動機と目的

• 視覚的感情認識分野における多言語的・文化的理解の不足に対処すること、特に感情認識計算分野において。
• ソーシャルマルチメディアから、感情極性を持つ視覚的概念（形容詞＋名詞ペア）を、スケーラブルで言語特異的な方法で発見するための手法を開発すること。
• 文化的・言語的多様性を反映した、階層的に整理された統一された多言語視覚的感情認識オントロジー（MVSO）を構築すること。
• 言語特異の検出器バンクと画像・メタデータを含む、大規模で公開可能なデータセットをリリースし、言語間の感情認識分析を可能とすること。
• 視覚的感情表現が普遍的であるのか、それとも文化的に特異的であるのかを調査すること。

提案手法

• 画像メタデータの品詞タギングを用いた言語依存のパイプラインが、多言語ソーシャルメディアコンテンツから候補となる形容詞＋名詞ペア（ANP）を抽出する。
• 段階的なフィルタリング技術により、誤りまたは低カバレッジのANPが除去され、意味的整合性と視覚的検出可能性が保証される。
• 2段階の階層的クラスタリングアプローチにより、視覚的に検出可能な名詞が多言語クラスターやサブクラスターやにグループ化され、感情バイアス付きANPが形成される。
• MVSOに基づいて、言語特異の視覚的感情検出器が訓練され、言語間の感情認識予測が可能になる。
• オントロジーは階層的に構造化されており、高レベルの名詞クラスタ（例：「食べ物」「場所」）が、感情極性を持つANPのサブクラスタ（例：「おいしい食べ物」「まずい場所」）を含む。
• MVSOアノテーションと言語特異の検出器バンクを備えた、736万枚を超える画像を含む大規模データセットが、ベンチマーク用にリリースされた。

実験結果

リサーチクエスチョン

• RQ1 ソーシャルマルチメディアにおける視覚的感情表現は、文化的・言語的要因によってどのように異なるのか？
• RQ2 言語特異の視覚的感情モデルは、他の言語にどの程度一般化可能か？
• RQ3 多様な言語的・文化的背景から、統一された多言語視覚的感情認識オントロジーを効果的に構築できるか？
• RQ4 視覚的感情的概念は普遍的に認識されるのか、それとも文化的・言語的文脈が感情認識に顕著に影響を与えるのか？
• RQ5 文化的な視覚的コンテンツ（例：伝統的衣装、風景）の認識が、感情ラベル付けやモデル予測にどのように影響を与えるか？

主な発見

• MVSOには、アラビア語、中国語、ドイツ語、ロシア語など12言語にまたがり、1万5600件を超える感情バイアス付き視覚的概念が含まれており、言語的・文化的多様性が高く確保されている。
• 言語間の感情認識予測において、ラテン系言語モデル（イタリア語、スペイン語、フランス語）は互いに良好に一般化しており、イタリア語モデルはスペイン語およびフランス語のターゲット言語で最高の言語間正解率を達成した。
• 英語特異の感情モデルは、すべてのターゲット言語において正解率のばらつきが最小であり、英語の世界的な普及とソーシャルメディアにおける言語的一致性の高さによるものと推定される。
• 言語間予測の失敗事例、例えばドイツ語モデルがイタリアの伝統的衣装を否定的と誤分類した事例は、感情認識における文化的差を示している。
• 中国語モデルが英語の曇り空の朝の画像を肯定的と誤分類したのは、中国画の美的価値観と文化的に一致している可能性がある。
• フランス語の「美しい村（beau village）」の画像が、スペイン語モデルによって正しく肯定的と分類されたのは、ロマンス語圏間で風景の美しさに対する共通の文化的認識があることを示している。