[論文レビュー] Distilling Audio-Visual Knowledge by Compositional Contrastive Learning

Yanbei Chen, Yongqin Xian+3 more|arXiv (Cornell University)|Apr 22, 2021

Multimodal Machine Learning Applications参考文献 64被引用数 4

ひとこと要約

本稿では、異種の音声、画像、動画表現を統合して、クロスモーダルな意味的ギャップを埋めるための構成的対照学習（CCL）という、新たな知識蒸留フレームワークを提案する。CCLは、共有潜在空間におけるクラスに依存する監視のもとで、連合対照学習を実行することで、UCF101、ActivityNet、VGGSoundで最先端の手法を上回り、動画認識において最大4.5%の精度向上を達成する。

ABSTRACT

Having access to multi-modal cues (e.g. vision and audio) empowers some cognitive tasks to be done faster compared to learning from a single modality. In this work, we propose to transfer knowledge across heterogeneous modalities, even though these data modalities may not be semantically correlated. Rather than directly aligning the representations of different modalities, we compose audio, image, and video representations across modalities to uncover richer multi-modal knowledge. Our main idea is to learn a compositional embedding that closes the cross-modal semantic gap and captures the task-relevant semantics, which facilitates pulling together representations across modalities by compositional contrastive learning. We establish a new, comprehensive multi-modal distillation benchmark on three video datasets: UCF101, ActivityNet, and VGGSound. Moreover, we demonstrate that our model significantly outperforms a variety of existing knowledge distillation methods in transferring audio-visual knowledge to improve video representation learning. Code is released here: https://github.com/yanbeic/CCL.

研究の動機と目的

• 非制約的環境下で、異種かつ相関のない音声および視覚的モダリティから動画表現学習への知識転送の課題に対処すること。
• 時間的または意味的に整合しないモダリティにおいても、単一モダリティの教師（音声、画像、動画）と動画学生ネットワークの間のクロスモーダル意味的ギャップを埋めること。
• モダリティ固有のアライメントを必要とせず、多様なデータセットやタスクに適用可能な汎用的で統一的なマルチモーダル蒸留フレームワークの開発。
• UCF101、ActivityNet、VGGSoundにおけるマルチモーダル蒸留の包括的ベンチマークの確立により、蒸留手法の公平な比較を可能にすること。
• クラスラベルと構成的埋め込みを用いて、複数モダリティの表現を連合的に対照することで、標準的な対照学習や蒸留ベースラインよりも情報量の多い知識転送が達成されることの実証。

提案手法

• 異なるモダリティの表現を共有潜在空間にマップするための学習可能な構成的埋め込みを導入し、クロスモーダル意味的ギャップを効果的に低減する。
• クラスラベルを用いてアライメントを誘導する、マルチクラス対照損失（NCE）を採用し、モダリティ間でポジティブおよびネガティブサンプルを対照する。
• 学生および教師ネットワークの予測分布のアライメントを保証するため、Jensen-Shannon発散（JSD）損失を用いる。
• 構成的対照損失とJSD損失を同時に最適化することで、特徴空間および予測空間の両方での連合アライメントを実現する。
• アーキテクチャ的制約なしに、任意のモダリティ（例：画像のImageNet、音声のLibriSpeech）の事前学習済み教師ネットワークを簡単に統合可能な汎用的でモジュラーなアプローチ。
• 動画認識および検索タスクの両方への適用を実施し、3つのベンチマークデータセットにおける広範なアブレーションと分析を実施。

実験結果

リサーチクエスチョン

• RQ1 構成的対照学習は、相関のない異種の音声および視覚的モダリティから動画表現学習への知識転送を効果的に可能にするか？
• RQ2 対照学習目的関数にクラスラベルを導入することで、インスタンスレベルの対照学習と比較して、マルチモーダル知識蒸留がどのように向上するか？
• RQ3 NCE損失とJSD損失による特徴空間および予測空間における連合制約が、知識転送をどの程度相乗的に向上させるか？
• RQ4 音声と動画が意味的または時間的に整合しない現実的状況下でも、モデルの性能はどの程度維持されるか？
• RQ5 相関のないモダリティにおいて、構成的埋め込みがクロスモーダル意味的ギャップをどの程度効果的に埋めるか？

主な発見

• UCF101 (A)設定において、インスタンスレベルの対照損失ベースライン（60.4%）と比較して、CCLは4.5%の絶対的精度向上（64.9%）を達成し、クラスに依存する対照学習の有効性を示した。
• NCE損失またはJSD損失のいずれかを削除すると、それぞれ1.8%および1.7%の顕著な性能低下が生じ、両損失が補完的かつ効果的な蒸留に不可欠であることを示した。
• NCE損失を削除した場合、(AI)設定で3.7%の精度低下（70.0% → 66.3%）を示し、特徴レベルのアライメントにおいてNCE損失が果たす重要な役割を確認した。
• t-SNE可視化の結果、CCLは判別性が高く、クラスに分離された動画表現を学習しており、訓練およびテストデータの埋め込みが一貫したクラスターマニフォールドを形成していることが示された。
• k-NN検索では、CCLは「アイスダンス」と「アイメイクの施術」などの同じまたは類似した行動クラスの動画を、対応するクエリに対して効果的に検索した。
• 可視化分析により、音声と動画が意味的に相関がない場合（例：関連のない行動と音楽）でも、構成的埋め込み機構のおかげでCCLが良好に一般化することを確認した。