[論文レビュー] Co-Training of Audio and Video Representations from Self-Supervised Temporal Synchronization

Bruno Korbar, Du Tran+1 more|arXiv (Cornell University)|Jun 30, 2018

Music and Audio Processing参考文献 27被引用数 52

ひとこと要約

本論文は、音声と映像のストリーム間の時間的同期を認識させることで、自己教師あり学習を用いて強力な音声および映像表現を学習する手法を提案する。対照的学習にカリキュラム戦略と注意深く選択されたネガティブサンプルを適用することで、音声ベンチマークで最先端の性能を達成し、自己教師あり事前学習から微調整した場合、UCF101では+16.7%、HMDB51では+13.0%のアクション認識精度の向上を達成した。

ABSTRACT

There is a natural correlation between the visual and auditive elements of a video. In this work we leverage this connection to learn general and effective features for both audio and video analysis from self-supervised temporal synchronization. We demonstrate that a calibrated curriculum learning scheme, a careful choice of negative examples, and the use of a contrastive loss are critical ingredients to obtain powerful multi-sensory representations from models optimized to discern temporal synchronization of audio-video pairs. Without further finetuning, the resulting audio features achieve performance superior or comparable to the state-of-the-art on established audio classification benchmarks (DCASE2014 and ESC-50). At the same time, our visual subnet provides a very effective initialization to improve the accuracy of video-based action recognition models: compared to learning from scratch, our self-supervised pretraining yields a remarkable gain of +16.7% in action recognition accuracy on UCF101 and a boost of +13.0% on HMDB51.

研究の動機と目的

• 音声と映像信号の自然な相関を利用して、汎用的な音声および映像表現を学習すること。
• 人間によるアノテーションデータが不要な状況で、頑健なマルチセンサリーフィーチャーを学習する課題に対処すること。
• 自己教師あり事前学習を通じて、下流の音声および映像認識タスクのパフォーマンスを向上させること。
• 音声と映像の時間的整合性が、表現学習の強力な自己教師信号として機能するかどうかを調査すること。

提案手法

• 本手法は、同期した（ポジティブ）および非同期な（ネガティブ）音声・映像ペアを区別できるようにモデルを訓練するための対照的損失を用いる。
• 訓練中にネガティブ例の難易度を段階的に上げる、校正されたカリキュラム学習スキームを適用する。
• ネガティブサンプルは、意味的に関連しているが時間的にずれていることを確認して慎重に選択され、特徴の区別能を高める。
• モデルは音声エンコーダーと映像エンコーダーを同時に最適化し、対照的学習用に共有されたプロジェクションヘッドを共有する。
• 時間的同期が自己教師信号として用いられ、手動アノテーションの必要性がなくなる。
• 本手法により、生の映像および音声入力のみを用いて、音声および映像エンコーダーのエンドツーエンド学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 音声と映像の間の時間的同期は、一般表現学習のための効果的な自己教師信号として機能するか？
• RQ2 カリキュラム学習は、自己教師あり音声・映像表現の質にどのように影響するか？
• RQ3 ネガティブサンプル戦略の選択が、音声・映像表現学習における対照的学習のパフォーマンスに与える影響は何か？
• RQ4 自己教師あり事前学習は、下流のアクション認識および音声分類の精度をどの程度向上させるか？
• RQ5 学習された音声および映像特徴は、標準ベンチマークで最先端の手法と比較してどうなるか？

主な発見

• 自己教師あり音声特徴は、DCASE2014およびESC-50音声分類ベンチマークで、最先端の性能を上回るか同等の性能を達成した。
• 自己教師あり事前学習によって得られた視覚的特徴は、スクラッチから学習した場合に比べ、UCF101で+16.7%のアクション認識精度向上をもたらした。
• 微調整に事前学習済みの視覚的特徴を使用した場合、HMDB51で+13.0%の精度向上を達成した。
• 対照的損失、カリキュラム学習、および注意深いネガティブサンプル選択の組み合わせが、強力なパフォーマンスを達成するために不可欠である。
• 本手法は一般化性に優れ、タスク固有の微調整なしで強力なゼロショット転移性能を発揮した。
• 結果から、時間的整合性が動画におけるマルチセンサリーフィーチャー表現学習の強力な信号であることが示された。