[論文レビュー] A Circular-Structured Representation for Visual Emotion Distribution Learning

Jingyuan Yang, Jie Li+3 more|arXiv (Cornell University)|Jun 23, 2021

Sentiment Analysis and Opinion Mining参考文献 46被引用数 4

ひとこと要約

本稿では、感情の極性、種別、強度によって定義される感情円（Emotion Circle）に基づき、視覚的感情分布学習のための円形構造表現を提案する。また、粗くから細かくまで段階的に予測を精錬するためのプログレッシブ・サーキュラー（PC）損失を導入している。本手法は、感情的関係に関する心理学的事前知識を効果的に活用することで、3つの公開データセットにおいて最先端の手法を上回る性能を達成した。

ABSTRACT

Visual Emotion Analysis (VEA) has attracted increasing attention recently with the prevalence of sharing images on social networks. Since human emotions are ambiguous and subjective, it is more reasonable to address VEA in a label distribution learning (LDL) paradigm rather than a single-label classification task. Different from other LDL tasks, there exist intrinsic relationships between emotions and unique characteristics within them, as demonstrated in psychological theories. Inspired by this, we propose a well-grounded circular-structured representation to utilize the prior knowledge for visual emotion distribution learning. To be specific, we first construct an Emotion Circle to unify any emotional state within it. On the proposed Emotion Circle, each emotion distribution is represented with an emotion vector, which is defined with three attributes (i.e., emotion polarity, emotion type, emotion intensity) as well as two properties (i.e., similarity, additivity). Besides, we design a novel Progressive Circular (PC) loss to penalize the dissimilarities between predicted emotion vector and labeled one in a coarse-to-fine manner, which further boosts the learning process in an emotion-specific way. Extensive experiments and comparisons are conducted on public visual emotion distribution datasets, and the results demonstrate that the proposed method outperforms the state-of-the-art methods.

研究の動機と目的

• 視覚的感情分析（VEA）における単一ラベル分類の限界を解消する。これは、人間の感情がもつ曖昧さと主観性を単純化しすぎているためである。
• ミケルのホイールなどの心理学的理論を用いて、感情の極性、種別、強度といった内在的な感情的関係をモデル化する。
• 基本的で複合的な感情を円形構造内で統合する新しい表現を構築し、より正確な分布学習を実現する。
• 粗くから細かくまで段階的に感情固有の制約を課すプログレッシブ・サーキュラー（PC）損失を設計し、予測の整合性を向上させる。
• 標準的な視覚的感情分布データセットにおいて、最先端の手法を上回る優れた性能を示す。

提案手法

• 心理学的モデルに基づき、8つの基本的で感情が等間隔に配置された単位ベクトルとして表現された感情円を構築する。
• 基本的で感情のベクトルの重み付き合成により、任意の感情分布を複合感情ベクトルとして表現する。その属性として、極性、種別、強度を含む。
• 感情的関係を保持するための2つの重要な性質を定義する：類似性（円上での角度的近接性）と加法性（ベクトル和の一貫性）。
• 粗くから細かくまで段階的に、極性損失、種別損失、強度損失の3つの制約を適用するプログレッシブ・サーキュラー（PC）損失を提案する。
• PC損失を標準的なカルバック・ライブラーダー（KL）損失と組み合わせ、感情固有の学習と一般の分布学習のバランスを取るためにハイパーパrameter μ=0.7 を用いる。
• 複数のヘッドを持つネットワークヘッドを用いて感情ベクトルを予測し、訓練中にPC損失を適用することで構造的・意味的整合性を強制する。

実験結果

リサーチクエスチョン

• RQ1 極性、種別、強度といった内在的な感情的関係を、視覚的感情分布学習においてどのように効果的にモデル化できるか。
• RQ2 円形構造表現は、心理学的に根拠のある方法で、基本的で複合的な感情状態を統合的に表現できるか。
• RQ3 極性、種別、強度の制約を段階的に課すプログレッシブで粗くから細かくまでの損失関数は、標準的な損失関数と比較して予測精度を向上させるか。
• RQ4 ミケルのホイールなどの心理学的事前知識の統合は、視覚的感情分布学習の性能向上にどのように寄与するか。
• RQ5 PC損失と標準的なKL損失の最適なバランスは何か。

主な発見

• 提案手法は、Flickr_LDL、Twitter_LDL、AffectNet-Emotionの3つの公開データセットにおいて、最先端の手法を一貫して上回る性能を達成した。
• プログレッシブ・サーキュラー（PC）損失は、極性、種別、強度の3つの制約をすべて適用した場合に顕著に性能を向上させ、それぞれが独立的かつ段階的に寄与していることが示された。
• 除去実験の結果、PC損失の各構成要素が不可欠であることが確認され、いずれかの制約を削除すると性能が低下した。
• 最適なハイパーパrameter μ=0.7 は、PC損失とKL損失のバランスを最適に保証しており、μが高すぎたり低すぎたりすると性能が低下した。
• 可視化結果から、モデルは単純な感情分布だけでなく、複雑な感情分布の回復も正確に行っていることが示され、特に極性と強度の保持が優れている。
• PC損失を組み込むことでトップ1の正確度が向上し、分布における支配的で感情の予測が改善されていることが示された。