[論文レビュー] Contrastive Learning of Global and Local Audio-Visual Representations.

Shuang Ma, Zhaoyang Zeng+2 more|arXiv (Cornell University)|Apr 7, 2021

Speech and Audio Processing参考文献 61被引用数 6

ひとこと要約

本論文は、2つのクロスモodalな対照的学習目的を用いて、グローバル（例：分類）およびローカル（例：局所化）の音声視覚表現を同時に最適化する自己教師付き対照的学習フレームワークを提案する。この手法は、アクション／音声分類、リップリーディング、ディープフェイク検出、音源局所化を含む多様な下流タスクにおいて優れた汎化性能を達成する。

ABSTRACT

Contrastive learning has delivered impressive results in many audio-visual representation learning scenarios. However, existing approaches optimize for learning either extit{global} representations useful for tasks such as classification, or extit{local} representations useful for tasks such as audio-visual source localization and separation. While they produce satisfactory results in their intended downstream scenarios, they often fail to generalize to tasks that they were not originally designed for. In this work, we propose a versatile self-supervised approach to learn audio-visual representations that generalize to both the tasks which require global semantic information (e.g., classification) and the tasks that require fine-grained spatio-temporal information (e.g. localization). We achieve this by optimizing two cross-modal contrastive objectives that together encourage our model to learn discriminative global-local visual information given audio signals. To show that our approach learns generalizable video representations, we evaluate it on various downstream scenarios including action/sound classification, lip reading, deepfake detection, and sound source localization.

研究の動機と目的

• 既存の対照的学習手法がグローバルまたはローカル表現の一方のみを最適化するという制限を解消すること。
• 高レベルの意味的理解と微細な時空間的整合性の両方に効果的な、包括的な自己教師付きアプローチを構築すること。
• 多様な下流音声視覚タスクにおけるゼロショットおよびフェイントショットの転移性能を向上させること。
• 異なる種類の音声視覚理解を要するタスクにおける学習済み表現の汎化能力を評価すること。

提案手法

• 本手法は2つのクロスモダリティ対照的学習目的を採用している：1つはグローバル表現学習用、もう1つはローカル表現学習用。
• グローバル対照的損失は、動画全体の意味的特徴（例：アクションや音声クラス）の一致を促進する。
• ローカル対照的損失は、時間的および空間的レベルでの音声と視覚特徴の微細な一致を促進し、音源局所化などのタスクを支援する。
• 非ペairedな音声と動画データを用いた対照的事前学習により、エンドツーエンドで自己教師付きでモデルを訓練する。
• 二重目的最適化により、グローバルな意味とローカルな時空間的詳細を両方保持する統合表現空間を学習可能となる。
• 本手法は、対照的学習を活用して、肯定的ペア間の一致を最大化するとともに、否定的ペアを統合埋め込み空間内で分離させる。

実験結果

リサーチクエスチョン

• RQ1 1つの自己教師付き学習フレームワークが、同時にグローバルおよびローカルな音声視覚表現を効果的に学習できるか？
• RQ2 グローバルおよびローカル対照的学習目的の統合最適化は、多様な下流タスクにおけるゼロショット転移性能をどのように向上させるか？
• RQ3 本手法は、グローバルまたはローカル理解を要するタスクにおいて、タスク固有の対照的モデルよりも優れた汎化性能を示すか？
• RQ4 学習済み表現は、ディープフェイク検出やリップリーディングなどのタスクにおけるゼロショット転移をどの程度支援するか？

主な発見

• 提案手法は、アクション分類および音声分類タスクで最先端のゼロショット性能を達成し、これらのタスクに特化して訓練されたモデルを上回る。
• リップリーディングタスクにおいても優れた性能を示しており、微細な視覚的音声対応（視覚的音声対応）に有効なローカル表現学習の有効性を裏付けている。
• ディープフェイク検出タスクへの汎化が良好であり、微細な視覚的視覚的および音声視覚的不一致に対する頑健性を示している。
• 音源局所化タスクにおいても競争力のある結果を達成しており、ローカル対照的損失が時空間的整合性に価値をもたらしていることを確認している。
• アブレーションスタディの結果、グローバルおよびローカル対照的損失を併用することで、単独で使用する場合よりも優れた性能が得られることを示している。
• 本手法は、タスク固有の微調整なしに多様な下流タスクに効果的に汎化可能であり、その多様性が顕著に表れている。