[論文レビュー] Audio-visual Generalised Zero-shot Learning with Cross-modal Attention and Language

Otniel-Bogdan Mercea, Lukas Riesch+2 more|arXiv (Cornell University)|Mar 7, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、音声・視覚埋め込みとテキストラベル埋め込みを一致させるために、音声・視覚一般化ゼロショット学習（GZSL）のためのクロスモダリティアテンションモデルAVCAを提案する。モダリティ間のクロスアテンションと新しい損失関数を活用することで、VGGSound、UCF101、ActivityNetの3つの新しいベンチマークで最先端の性能を達成し、特に未学習クラスにおいて顕著な性能向上を示した。

ABSTRACT

Learning to classify video data from classes not included in the training data, i.e. video-based zero-shot learning, is challenging. We conjecture that the natural alignment between the audio and visual modalities in video data provides a rich training signal for learning discriminative multi-modal representations. Focusing on the relatively underexplored task of audio-visual zero-shot learning, we propose to learn multi-modal representations from audio-visual data using cross-modal attention and exploit textual label embeddings for transferring knowledge from seen classes to unseen classes. Taking this one step further, in our generalised audio-visual zero-shot learning setting, we include all the training classes in the test-time search space which act as distractors and increase the difficulty while making the setting more realistic. Due to the lack of a unified benchmark in this domain, we introduce a (generalised) zero-shot learning benchmark on three audio-visual datasets of varying sizes and difficulty, VGGSound, UCF, and ActivityNet, ensuring that the unseen test classes do not appear in the dataset used for supervised training of the backbone deep models. Comparing multiple relevant and recent methods, we demonstrate that our proposed AVCA model achieves state-of-the-art performance on all three datasets. Code and data are available at \url{https://github.com/ExplainableML/AVCA-GZSL}.

研究の動機と目的

• 未学習のクラスからの動画データ分類という課題に取り組む音声・視覚ゼロショット学習（ZSL）において、学習済みのクラスを超えて一般化できるモデルを構築すること。
• 訓練・検証・テストセットの間でクラスが重複するため、過学習や性能の誇張を引き起こす既存のZSLベンチマークの限界を克服すること。
• VGGSound、UCF101、ActivityNetの3つの多様なデータセットを統合し、訓練セットとテストセットの間でクラス漏れが発生しない、包括的で現実的な音声・視覚GZSLのベンチマークを構築すること。
• 音声と視覚の特徴をクロスアテンションで統合しながら、単モダリティの情報を保持する計算効率の良いマルチストリームモデルを設計すること。
• マルチモダリティ表現が、未学習クラスにおいても単モダリティのベースラインを顕著に上回ることを実証すること。

提案手法

• 音声と視覚のエンコーダーを別々に持つマルチストリームニューラルネットワークAVCAを提案し、クロスアテンション機構を介して情報交換を行い、統合表現を構築する。
• ZSLタスクへの情報漏れを避けるために、自己教師ありSeLaViモデルから事前抽出された音声および視覚特徴を用いる。
• 三重項ベースの対照的損失と、融合表現における顕著な単モダリティ特徴を保持する正則化損失（$l_c$）の組み合わせでモデルを訓練する。
• 最終的な音声・視覚埋め込みをテキストラベル埋め込みとクロスアテンションにより一致させ、最も近いラベル埋め込みを検索することでゼロショット予測を実現する。
• 関連するクロスモダリティの手がかりに注目するようモデルを促す新しいトレーニング目的を導入し、同時に判別的な単モダリティ情報の維持を促進する。
• 一般化ゼロショット学習（GZSL）設定において、すべての訓練クラスがテスト検索空間にノイズとして存在する条件下で、調和平均（HM）とゼロショット学習（ZSL）正答率を評価指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 テストクラスの訓練例が存在しない状況下で、音声と視覚ストリーム間のクロスモダリティアテンションが、動画分類におけるゼロショット一般化を向上させることができるか？
• RQ2 音声・視覚表現と併せてテキストラベル埋め込みを活用することで、単モダリティまたは非アテンションベースのマルチモダリティ手法と比較して、未学習クラスの性能が向上するか？
• RQ3 訓練セットとテストセットの間でクラス重複がない実世界の音声・視覚データセット上で、提案されたAVCAモデルは、最先端のGZSL手法を上回る性能を示すか？
• RQ4 単モダリティ情報を保持する正則化損失を組み込むことで、マルチモダリティZSLモデルのロバスト性と性能がどの程度向上するか？
• RQ5 VGGSound、UCF101、ActivityNetといった既存のデータセットから、訓練・テスト間のデータ漏れが発生しない現実的な評価条件を満たす、統一された音声・視覚GZSLベンチマークを構築可能か？

主な発見

• VGGSound-GZSLベンチマークでは、AVCAは調和平均（HM）6.31%、ゼロショット学習（ZSL）正答率6.00%を達成し、AVGZSLNet（HM: 5.83%, ZSL: 5.28%）とDEVISE（HM: 5.00%, ZSL: 4.50%）を上回った。
• UCF-GZSLでは、AVCAはHM: 27.15%、ZSL: 20.01%を達成し、AVGZSLNet（HM: 18.05%, ZSL: 13.65%）とDEVISE（HM: 15.00%, ZSL: 12.00%）を上回った。
• ActivityNet-GZSLでは、AVCAはHM: 12.13%、ZSL: 9.13%を達成し、AVGZSLNet（HM: 8.30%, ZSL: 6.39%）とDEVISE（HM: 7.00%, ZSL: 5.50%）を顕著に上回った。
• アブレーションスタディの結果、クロスアテンションを除去すると性能が低下する一方、$l_c$損失とクロスアテンションを追加することでAVGZSLNetを上回る結果が得られ、提案された構成要素の有効性が裏付けられた。
• 音声および視覚の両ブランチを用いた訓練は、単独で用いる場合よりも、学習済み（S）および未学習（U）の両方の性能が向上し、ActivityNet-GZSLではHMが7.53%（視覚単体）から12.13%に上昇した。
• AVCAは169万パラメータ、2.36 GFLOPSを有し、AVGZSLNet（132万パラメータ、1.38 GFLOPS）と同等の計算効率でありながら、すべてのベンチマークで顕著に優れた性能を達成した。