[論文レビュー] Weakly Supervised Representation Learning for Unsynchronized Audio-Visual Events

Sanjeel Parekh, Slim Essid+4 more|arXiv (Cornell University)|Apr 19, 2018

Music and Audio Processing参考文献 34被引用数 14

ひとこと要約

本論文は、ビデオレベルのラベルのみを用いて音声・視覚的イベントを分類し、その特徴的な音声および視覚的コンponentsを局所化する、弱教師付きマルチモーダルフレームワークを提案する。複数のインスタンス学習に基づくアプローチにより、同期されていない音声・視覚的イベントに対しても、モダリティ固有の表現を学習し、それらを統合することで、分類および局所化の面で強力な性能を発揮する。大規模な弱教師付きデータセットにおいて、最先端の性能を達成した。

ABSTRACT

Audio-visual representation learning is an important task from the perspective of designing machines with the ability to understand complex events. To this end, we propose a novel multimodal framework that instantiates multiple instance learning. We show that the learnt representations are useful for classifying events and localizing their characteristic audio-visual elements. The system is trained using only video-level event labels without any timing information. An important feature of our method is its capacity to learn from unsynchronized audio-visual events. We achieve state-of-the-art results on a large-scale dataset of weakly-labeled audio event videos. Visualizations of localized visual regions and audio segments substantiate our system's efficacy, especially when dealing with noisy situations where modality-specific cues appear asynchronously.

研究の動機と目的

• 時間的アノテーションを一切用いずに、ビデオレベルのラベルのみを用いて現実世界の音声・視覚的イベントを分類するシステムを開発すること。
• 音声と視覚的コンponentsが時間的にずれている場合でも、イベントの特徴的な音声および視覚的コンponentsを局所化すること。
• ノイズ、同期のずれ、曖昧さが生じる状況下でも、視覚的および音声的手がかりを効果的に統合する、強力なマルチモーダル表現学習フレームワークを構築すること。
• 弱教師付きラベルが付与された大規模な音声イベントビデオデータセットを用いて、本手法の有効性を検証し、分類および局所化の両タスクにおいて効果を示すこと。

提案手法

• フレームワークは、各ビデオを画像領域（プロポーザル）のバッグおよび音声セグメント（プロポーザル）のバッグとして扱い、ビデオレベルのラベルから複数のインスタンス学習を用いて学習する。
• 視覚的および音声的サブネットワークが、それぞれ画像プロポーザルおよび音声セグメントから深層特徴を抽出し、各プロポーザルがイベントクラスに関連するかのスコアを算出する。
• モダリティ固有のスコアはグローバル平均プーリングにより集約され、初期の連結によって統合され、ビデオレベルの分類に用いられる。
• モデルは弱教師付き学習を用いてエンドツーエンドで訓練され、表現学習、分類、局所化の統合的学習が可能になる。
• 局所化は、時間軸上のプロポーザルスコアを示すヒートマップを用いて可視化され、検出の信頼度に応じてバウンディングボックスの不透明度が調整される。
• アーキテクチャは、音声的および視覚的手がかりが異なる時間に活性化できるように設計されており、時間的非同期に対応している。

実験結果

リサーチクエスチョン

• RQ1 ビデオレベルのラベルのみが与えられた状況下で、弱教師付きマルチモーダルフレームワークは、イベントの特徴的な音声および視覚的コンponentsを局所化できるか？
• RQ2 音声と視覚的手がかりが時間的に一致しない非同期な音声・視覚的イベントに対して、本手法はどの程度効果的に対処できるか？
• RQ3 単一モダリティベースラインと比較して、モダリティ統合は分類および局所化性能をどの程度向上させるか？
• RQ4 視覚的遮断や音声の信号対雑音比が低いなどのノイズの多い条件下でも、システムは安定した性能を維持できるか？

主な発見

• 提案された2ストリームAV TSモデルは、テストセットで平均F1スコア75.7を達成し、音声のみ（42.1）およびビデオのみ（72.5）のベースラインを上回った。
• 本手法は、特に「電車のホーン」（F1: 64.7）や「オートバイ」（F1: 81.1）といった困難なクラスにおいても、大規模な弱教師付き音声イベントビデオデータセットで最先端の性能を達成した。
• 定性的な結果から、モデルは音声イベントの後にオブジェクトが現れる場合（例：ホーンの音が先に鳴り、その後に車が現れる）でも、視覚的オブジェクトを正しく局所化できていることが示された。
• 視覚的遮断や照明が悪い状況下でも、モデルは音声的手がかりにより正しくイベントを特定できており、例として「オートバイ」の例では、物体が完全に見えない状況でも正しく同定された。
• ヒートマップによる可視化により、音声的および視覚的モダリティの活性化ピークが異なる時間に現れるという、時間的非同期の処理能力が裏付けられた。