[論文レビュー] Cooperative Learning of Audio and Video Models from Self-Supervised Synchronization

Bruno Korbar, Du Tran+1 more|arXiv (Cornell University)|Jun 30, 2018

Music and Audio Processing被引用数 187

ひとこと要約

自己監視学習を用いた二流ストリームフレームワークが、Audio-Visual Temporal Synchronizationのカリキュラムベースのハードネガティブを解くことによって、ダウンストリームタスクに対して手動ラベルなしでも強力な音声と映像の特徴を得る。

ABSTRACT

There is a natural correlation between the visual and auditive elements of a video. In this work we leverage this connection to learn general and effective models for both audio and video analysis from self-supervised temporal synchronization. We demonstrate that a calibrated curriculum learning scheme, a careful choice of negative examples, and the use of a contrastive loss are critical ingredients to obtain powerful multi-sensory representations from models optimized to discern temporal synchronization of audio-video pairs. Without further finetuning, the resulting audio features achieve performance superior or comparable to the state-of-the-art on established audio classification benchmarks (DCASE2014 and ESC-50). At the same time, our visual subnet provides a very effective initialization to improve the accuracy of video-based action recognition models: compared to learning from scratch, our self-supervised pretraining yields a remarkable gain of +19.9% in action recognition accuracy on UCF101 and a boost of +17.7% on HMDB51.

研究の動機と目的

• 動画内の音声と視覚信号の自然な相関を利用して、手動ラベリングなしで一般的な音響-視覚表現を学習する。
• 音声と映像セグメントが時間的に同期しているかを判断する二-streamネットワークを訓練する。
• 表現の品質に対する負例サンプリング戦略とカリキュラム学習の影響を下流タスクで調査する。
• 学習された音声特徴が音声ベンチマークで最先端と同等かそれを上回り、映像モデルを初期化してアクション認識を改善する。

提案手法

• 音声サブネットワークと映像サブネットワークを用いた二-streamアーキテクチャで同期を評価する。
• 同期ペアの距離を最小化し、同期していないペアにはマージンを課す対比損失で訓練する。
• 正例は時間的に整列した音声-映像クリップから作成し、負例は異なる動画から（easy）または同じ動画で時間的ずれを伴うもの（hard）から作成する。
• easy negatives で初期学習を行った後に hard negatives を導入してカリキュラム学習を適用することで、AVTSと下流タスクの双方を改善する。
• MC x 3D/2D畳み込みでビデオを処理し、音声はVGG様のスペクトル特徴抽出器で処理し、ネットワークの後半でAVTSタスクのために融合する。
• AVTSをアクション認識と音声分類の事前学習信号として評価し、ファインチューニングとゼロショット特徴抽出のシナリオを含む。

実験結果

リサーチクエスチョン

• RQ1 AVTSは手動ラベルなしで識別的な音声と映像表現を学習できるか？
• RQ2 負例サンプリング戦略（easy vs hard negatives）とカリキュラム学習がAVTSの性能と下流タスクに与える影響は？
• RQ3 AVTSで学習した特徴は、ラベル付き事前学習データなしでアクション認識と音声分類タスクに転移するか？
• RQ4 より大きなラベルなしのビデオ/音声データセットでAVTSによる事前学習は、完全に監視付き事前学習と比べてどのような影響を与えるか？

主な発見

• AVTSによって学習された音声特徴は、finetuningなしでDCASE2014とESC-50で競争力のある、または優れた結果を達成する。
• 映像サブネットの事前学習は、アクション認識で substantial gains を生み出し、例えばUCF101とHMDB51でゼロから学習した場合と比べて大幅な改善をもたらす。
• easyとhardネガティブを混ぜたカリキュラム学習は、単一段階の訓練よりAVTSの精度と下流タスクの性能を改善する。
• KineticsでのAVTS事前学習はアクション認識に substantial boosts を提供し（例: MC3モデルの gains）、大規模なラベルなしデータ（AudioSet）でスケールする。
• AVTS特徴は音声ベンチマークへ一般化し、関連する自己教師あり手法を上回るマルチモーダルなアクション認識をサポートする。