[論文レビュー] Positive Sample Propagation along the Audio-Visual Event Line

Jinxing Zhou, Liang Zheng+3 more|arXiv (Cornell University)|Apr 1, 2021

Music and Audio Processing参考文献 31被引用数 6

ひとこと要約

本稿では、関連性のないか弱い相関を持つペairを除外し、高類似度の音声・視覚的セグメントペアのみを特定・集約することで、音声・視覚的イベント（AVE）局所化を向上させるポジティブサンプル伝播（PSP）モジュールを提案する。すべてのペア類似度マップを構築し、しきい値ベースの選択を適用することで、特徴の識別性を向上させ、AVEデータセットにおいて完全教師あり設定で77.8%、弱教師あり設定で73.5%の最先端性能を達成した。

ABSTRACT

Visual and audio signals often coexist in natural environments, forming audio-visual events (AVEs). Given a video, we aim to localize video segments containing an AVE and identify its category. In order to learn discriminative features for a classifier, it is pivotal to identify the helpful (or positive) audio-visual segment pairs while filtering out the irrelevant ones, regardless whether they are synchronized or not. To this end, we propose a new positive sample propagation (PSP) module to discover and exploit the closely related audio-visual pairs by evaluating the relationship within every possible pair. It can be done by constructing an all-pair similarity map between each audio and visual segment, and only aggregating the features from the pairs with high similarity scores. To encourage the network to extract high correlated features for positive samples, a new audio-visual pair similarity loss is proposed. We also propose a new weighting branch to better exploit the temporal correlations in weakly supervised setting. We perform extensive experiments on the public AVE dataset and achieve new state-of-the-art accuracy in both fully and weakly supervised settings, thus verifying the effectiveness of our method.

研究の動機と目的

• 弱教師ありAVE局所化における特徴統合の過程で生じるノイズや関連性のない音声・視覚的セグメントペアの課題に対処する。
• 時間的に同期していない状況下でも、高相関の音声・視覚的ペアにのみ注目することで、特徴の識別性を向上させる。
• 強教師ありを必要とせず、完全教師ありおよび弱教師ありの両設定に一般化可能な手法を開発する。
• モデル性能を低下させる負の接続や弱い接続からの干渉を低減する。
• 弱教師あり設定において、時間的重み付けブランチを導入することで、関連するセグメントに注目する能力を強化する。

提案手法

• すべての音声セグメントと視覚的セグメントのペア間の類似度マップを構築し、相互モodal相関を評価する。
• しきい値ベースのフィルタリング機構を適用し、類似度が高い音声・視覚的ペアのみを保持し、低スコアの接続を除外する。
• オンライン形式で選択されたポジティブペアからの特徴を統合し、識別性の高い表現を強化する。
• 完全教師あり設定において、音声・視覚的ペア類似度損失を導入し、ネットワークがポジティブペアに対して高相関特徴を学習するように促す。
• 弱教師あり設定において、関連性に基づいてセグメント特徴の時間的重要度スコアを割り当てるための重み付けブランチを設計する。
• Bi-LSTMに続いてPSPモジュールを用いて、長距離の時間的依存性をモデル化し、クロスモーダル表現を精緻化する。

実験結果

リサーチクエスチョン

• RQ1 低類似度の音声・視覚的ペアを除外することで、AVE局所化における学習特徴の識別力が向上するか？
• RQ2 音声と視覚的セグメントが時間的に非同期であっても、ポジティブサンプル伝播がモデル性能に与える影響は何か？
• RQ3 類似度に基づく選択機構は、弱い相関を持つペアを含む標準的な特徴統合よりも優れているか？
• RQ4 完全教師あり設定において、専用の音声・視覚的ペア類似度損失を導入することで、特徴の整合性が向上するか？
• RQ5 弱教師あり設定において、学習可能な時間的重み付け機構が関連するセグメントに注目することで性能が向上するか？

主な発見

• 提案されたPSP手法は、完全教師あり学習下でAVEデータセットで77.8%の精度を達成し、前回の最先端手法を9.2ポイント上回った。
• 弱教師あり設定では73.5%の精度を達成し、前回の最先端手法を6.8ポイント上回った。
• 可視化結果から、PSPは高類似度の音声・視覚的接続のわずかな部分のみを保持しており、それらはターゲットイベントと強く一致していることが示された。
• t-SNE可視化により、PSPモジュールを通過した後、特徴が顕著に凝集し、クラス間分離性とクラス内compactnessが向上していることが確認された。
• AVELと比較して、提案手法は音声と視覚信号が同期していない場合でも、フライイントの鍋とチキンの両方を含む広範囲かつ関連性の高い視覚的領域に注目している。
• やや精度が低いバックボーンを使用しても、AGSCA（最近の最先端モデル）を上回る性能を示しており、PSPおよびシステム設計の有効性が裏付けられた。