[論文レビュー] Predicting emotion from music videos: exploring the relative contribution of visual and auditory information to affective responses

Phoebe Chua, Dimos Makris+3 more|arXiv (Cornell University)|Feb 19, 2022

Music and Audio Processing被引用数 7

ひとこと要約

本稿では、音声のみ、映像のみ、音声映像の3条件において、感情の価値（valence）と覚醒度（arousal）をアノテートした新しいデータセットMuViを紹介する。また、分離されたモダリティのスコアを補助的监督として活用する転移学習アーキテクチャPAIRを提案し、多モーダル感情推定の性能を向上させる。その結果、覚醒度の認識は主に聴覚的入力が支配的であるのに対し、価値の認識は両モダリティが影響を及ぼすことが判明した。

ABSTRACT

Although media content is increasingly produced, distributed, and consumed in multiple combinations of modalities, how individual modalities contribute to the perceived emotion of a media item remains poorly understood. In this paper we present MusicVideos (MuVi), a novel dataset for affective multimedia content analysis to study how the auditory and visual modalities contribute to the perceived emotion of media. The data were collected by presenting music videos to participants in three conditions: music, visual, and audiovisual. Participants annotated the music videos for valence and arousal over time, as well as the overall emotion conveyed. We present detailed descriptive statistics for key measures in the dataset and the results of feature importance analyses for each condition. Finally, we propose a novel transfer learning architecture to train Predictive models Augmented with Isolated modality Ratings (PAIR) and demonstrate the potential of isolated modality ratings for enhancing multimodal emotion recognition. Our results suggest that perceptions of arousal are influenced primarily by auditory information, while perceptions of valence are more subjective and can be influenced by both visual and auditory information. The dataset is made publicly available.

研究の動機と目的

• 音声および映像モダリティが、音楽ビデオにおける感情認識に独立しておよび共同してどのように寄与するかを調査すること。
• 分離されたモダリティと統合されたモダリティの両方において、次元的（価値／覚醒度）および離散的（感情）のアノテーションを捉えるデータセットを構築すること。
• 分離されたモダリティのスコアを補助的监督として活用する新しいアーキテクチャPAIRを設計し、多モーダル感情認識を向上させること。
• 性別、音楽訓練歴、楽曲のなじみ具合といったデモグラフィック要因が、感情認識に与える影響を分析すること。
• 時間的系列感情推定に役立つ視覚的文脈特徴（シーン、オブジェクト、アクション）の有効性を検討すること。

提案手法

• 音楽ビデオを収集し、3つの条件（音声映像（オリジナル）、音声のみ（音楽）、映像のみ（ミュート））で提示し、参加者が時間経過に伴う価値と覚醒度をアノテートした。
• 性別、楽曲へのなじみ、音楽訓練歴などのアノテータのメタデータを収集し、感情認識に与えるデモグラフィック要因の影響を分析した。
• 勾配ベースの特徴重要度分析を実施し、感情予測に寄与する主要な音声および視覚的特徴を同定した。
• PAIR（分離モダリティスコアを用いた予測モデル）を提案。音声映像データと分離モダリティスコアの両方を同時に学習することで、一般化性能を向上させる転移学習フレームワークを構築した。
• 長短期記憶（LSTM）ネットワークを用いて、多モーダル統合戦略を適用し、連続的な価値および覚醒度スコアを予測するモデルを訓練・評価した。
• アノテータ間一致度（ICC）および相関分析を用いて、異なるモダリティおよび条件間での感情アノテーションの一貫性を検証した。

実験結果

リサーチクエスチョン

• RQ1 分離された聴覚的および視覚的モダリティは、音楽ビデオにおける認識された覚醒度と価値に、どのように異なる寄与をしているか？
• RQ2 性別、音楽訓練歴、楽曲のなじみ具合といったデモグラフィック要因が、音楽ビデオにおける感情認識にどの程度影響を及ぼすか？
• RQ3 シーン、オブジェクト、アクションのうち、感情認識に最も関連する視覚的特徴はどれか？
• RQ4 分離モダリティスコアは、多モーダル感情認識モデルの性能向上に寄与するか？
• RQ5 多モーダル感情認識において、視覚的または聴覚的優位性がどの条件下で顕在化するか？

主な発見

• 聴覚的情報が認識された覚醒度の大部分の分散を説明しており、音楽が音楽ビデオにおける覚醒度認識の主な要因であることが示された。
• 聴覚的および視覚的モダリティの両方が認識された価値に寄与しており、視覚的コンテンツが主観的な価値判断に顕著な影響を及ぼしていることが判明した。
• 視覚モダリティでは価値に対して最も高いアノテータ間一致度を示したが、覚醒度では最低であった。これは、静止映像を視聴する際、価値認識により高い合意が得られることを示唆している。
• 分離モダリティスコアの分析から、視覚的コンテンツを追加すると、音声のみの条件に比べて、認識された覚醒度および価値が一般に低下することがわかった。
• 特徴重要度分析の結果、アクション関連の視覚的特徴が感情認識に特に有益であることが判明した。一方、シーンベースの特徴は、固定時間窓よりも時間的モデリングに適していることが示された。
• 分離モダリティスコアを統合したPAIRモデルは、多モーダル感情推定において優れた性能を示し、補助的モダリティ監視の価値が裏付けられた。