[論文レビュー] AudioCLIP: Extending CLIP to Image, Text and Audio

Andrey Guzhov, Federico Raue+2 more|arXiv (Cornell University)|Jun 24, 2021

Music and Audio Processing被引用数 4

ひとこと要約

本論文は、ESResNeXtベースの音声エンコーダーをCLIPの視覚・テキスト対照学習フレームワークに統合した三モダリティ拡張型のAudioCLIPを提案する。これにより、ゼロショット音声分類とクロスモダリティクエリが可能となる。モデルはUrbanSound8Kで90.07%、ESC-50で97.15%の最先端の正確度を達成し、それぞれ68.78%および69.40%の新しいゼロショットベースラインを設定した。

ABSTRACT

In the past, the rapidly evolving field of sound classification greatly benefited from the application of methods from other domains. Today, we observe the trend to fuse domain-specific tasks and approaches together, which provides the community with new outstanding models. In this work, we present an extension of the CLIP model that handles audio in addition to text and images. Our proposed model incorporates the ESResNeXt audio-model into the CLIP framework using the AudioSet dataset. Such a combination enables the proposed model to perform bimodal and unimodal classification and querying, while keeping CLIP's ability to generalize to unseen datasets in a zero-shot inference fashion. AudioCLIP achieves new state-of-the-art results in the Environmental Sound Classification (ESC) task, out-performing other approaches by reaching accuracies of 90.07% on the UrbanSound8K and 97.15% on the ESC-50 datasets. Further it sets new baselines in the zero-shot ESC-task on the same datasets (68.78% and 69.40%, respectively). Finally, we also assess the cross-modal querying performance of the proposed model as well as the influence of full and partial training on the results. For the sake of reproducibility, our code is published.

研究の動機と目的

• CLIPフレームワークに音声を第三のモダリティとして統合し、テキスト・画像・音声の統合的表現学習を可能にすること。
• AudioSetデータセット上で対照学習を活用することで、音声分類におけるゼロショット一般化を可能にすること。
• ゼロショットおよびファインチューニング設定の両方で、テキスト・画像・音声間のクロスモダリティクエリ能力を評価すること。
• 完全学習と部分的学習の影響が分類およびクエリタスクのパフォーマンスに与える影響を調査すること。
• 環境音声分類分野における新しい最先端の結果を確立し、再現可能でオープンソースの実装を提供すること。

提案手法

• ESResNeXt音声モデルをCLIPフレームワーク内の音声エンコーダーとして統合し、音声入力用に元の視覚エンコーダーを置き換える。
• 音声埋め込みと対応するテキストおよび画像埋め込みを整列させるために、AudioSetデータセット上で対照学習を実行する。
• 二段階のトレーニング戦略を採用：第一段階では、固定されたテキストおよび画像エンコーダーを用いて音声ヘッドを対照損失で事前学習。第二段階では、エンドツーエンドのファインチューニングを実施。
• 一致するテキスト-音声、画像-音声、テキスト-画像ペア間の類似度を最大化し、非一致ペア間の類似度を最小化するため、二重ブランチ対照損失を適用する。
• クエリ埋め込み（テキスト、画像、または音声）とクラス固有の埋め込みベクトル間のコサイン類似度を計算することで、ゼロショット推論を実現する。
• ImageNet、AudioSet、UrbanSound8K、ESC-50を含む複数のデータセットを用いて、P@1、R@1、mAPなどの指標でクロスモダリティリtrieval性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 対照学習フレームワーク（例：CLIP）を音声を第三のモダリティとして成功裏に拡張できるか。視覚および言語タスクのパフォーマンスに悪影響を及げないか。
• RQ2 音声・テキスト・画像エンコーダーの共同学習は、環境音声分類におけるゼロショット一般化にどの程度寄与するか。
• RQ3 部分的学習（音声ヘッドのみ）と完全なエンドツーエンドファインチューニングの両者を比較した場合、分類およびクロスモダリティクエリタスクにおけるパフォーマンスにどのような差が生じるか。
• RQ4 AudioSetデータセットの影響が、UrbanSound8K や ESC-50 などの下流音声ベンチマークへの一般化能力に与える影響は何か。
• RQ5 AudioCLIPは、ゼロショットおよびファインチューニング設定の両方で、テキスト・画像・音声間の効果的なクロスモダリティクエリを実現できるか。

主な発見

• 完全学習条件下で、AudioCLIPはUrbanSound8Kで90.07%、ESC-50で97.15%という新しい最先端の正確度を達成した。
• モデルは、UrbanSound8Kで68.78%、ESC-50で69.40%という新しいゼロショット分類ベースラインを設定し、先行手法を顕著に上回った。
• 音声ヘッドのみを部分的に学習するだけで、UrbanSound8Kで89.95%、ESC-50で96.65%の正確度を達成し、強力なゼロショット一般化能力を示した。
• 完全学習により、AudioSet、UrbanSound8K、ESC-50におけるクロスモダリティクエリ性能が向上し、特に音声からテキストや画像へのクエリにおけるmAPが向上した。
• 完全学習後、ImageNetのリtrievalタスクにおけるモデルのパフォーマンスはわずかに低下した。これは、ImageNetとAudioSetの間でドメインシフトが生じている可能性を示唆している。
• 提案されたモデルは、テキスト・画像・音声のあらゆる組み合わせにおいて効果的なクロスモダリティリtrievalを可能にした。特に、完全学習後、ESC-50における音声からテキストへのクエリおよびテキストから音声へのクエリのmAPスコアは70%を超えた。