[論文レビュー] VGGSound: A Large-scale Audio-Visual Dataset

Honglie Chen, Weidi Xie+2 more|arXiv (Cornell University)|Apr 29, 2020

Music and Audio Processing参考文献 28被引用数 5

ひとこと要約

本論文では、200万件のYouTubeクリップを309のクラスにわたって、コンピュータビジョンに基づくパイプラインを用いて収集した大規模な音声・映像データセットVGG-Soundを紹介する。このパイプラインは、音声と映像の整合性を保証し、ラベルノイズを最小限に抑える。画像分類、音声検証、モデルアンサンブルを活用してデータ収集を自動化し、スペクトログ램に直接適用された深層畳み込みニューラルネットワーク（CNN）を用いた強力な音声認識ベースラインを実現した。

ABSTRACT

Our goal is to collect a large-scale audio-visual dataset with low label noise from videos in the wild using computer vision techniques. The resulting dataset can be used for training and evaluating audio recognition models. We make three contributions. First, we propose a scalable pipeline based on computer vision techniques to create an audio dataset from open-source media. Our pipeline involves obtaining videos from YouTube; using image classification algorithms to localize audio-visual correspondence; and filtering out ambient noise using audio verification. Second, we use this pipeline to curate the VGGSound dataset consisting of more than 210k videos for 310 audio classes. Third, we investigate various Convolutional Neural Network~(CNN) architectures and aggregation approaches to establish audio recognition baselines for our new dataset. Compared to existing audio datasets, VGGSound ensures audio-visual correspondence and is collected under unconstrained conditions. Code and the dataset are available at http://www.robots.ox.ac.uk/~vgg/data/vggsound/

研究の動機と目的

• オープンソースの動画から、最小限の人的ラベル付けでスケーラブルで自動化されたパイプラインを構築し、大規模な音声・映像データセットを収集すること。
• 音声・映像の整合性と低ラベルノイズを備えた200万件を超える動画クリップを含むVGG-Soundデータセットを収集し、音声認識およびマルチモodal学習に適したデータセットを構築すること。
• 生のスペクトログラムに直接適用された深層畳み込みニューラルネットワーク（CNN）アーキテクチャを用いて、VGG-Sound上で強力な音声認識ベースラインを確立すること。
• 制約のない現実世界の条件下での音声認識および音声・映像理解分野の研究を可能にすること。

提案手法

• パイプラインはYouTubeから動画を収集し、事前学習済みの画像分類モデルを用いて音声源に対応する視覚的領域を特定する。
• 音声と映像の整合性は、音声検証を用いたフィルタリングによって確認され、音声源が視覚的に存在することを保証する。
• 2段階のモデルアンサンブルプロセスを採用する：まず、半分のデータで音声分類器を学習し、残りのデータに対する予測を実行。上位3件の予測に含まれるクリップを高信頼度の陽性例として保持する。
• ハード陽性例は、信頼度の高いクリップの視覚特徴を計算し、残りのデータから視覚的に類似しているが音声的に除外されたクリップを検索することでマイニングする。
• 最終段階の再学習では、すべての確認済み陽性例を統合し、以前に除外されたデータから追加のクリップを取得することで、データセットのサイズと多様性を向上させる。
• 同一の視覚的表現を持つが異なるYouTube IDを持つクリップは、重複除去処理により削除される。

Fig. 1 : The top row in this figure shows example video frame and audio pairs of VGG-Sound classes, the bottom bar chart demostrates VGG-Sound classes with sizes of each audio class sorted by descending order.

実験結果

リサーチクエスチョン

• RQ1 コンピュータビジョン技術に基づく完全自動パイプラインは、人的介入を最小限に抑えつつ、高品質な音声・映像データセットの収集を達成できるか？
• RQ2 VGG-Soundで学習した音声認識モデルの性能は、AudioSetなどの他のデータセットで学習したモデルと比べてどうなるか？
• RQ3 弱教師あり設定下で、モデルアンサンブルと視覚的リtrievalは、陽性音声・映像クリップの品質と多様性をどの程度向上させるか？
• RQ4 VGG-Soundデータセットにおいて、深層CNNアーキテクチャは浅層モデルに比べてどの程度の性能向上をもたらすか？

主な発見

• VGG-Soundデータセットには、309のクラスにわたって合計200,467件の動画クリップが含まれており、1クラスあたり最低200件のクリップが確保され、合計時間は550時間にのぼる。
• 提案されたパイプラインは、視覚的一致性とモデルアンサンブルを活用することでラベルノイズを低減し、広範な人的ラベル付けを伴わずに高信頼度の陽性クリップを選別できた。
• Model-D（全データセットで学習した深層ResNet18）は、AStestサブセットでのみ学習したModel-Aよりも優れたmAPおよびAUCスコアを達成しており、多様なデータで一般化性能が向上していることを示している。
• Model-DとModel-AのTop-5正答率の差は顕著に縮小されており、VGG-Sound全データセットがAStestサブセットよりも複雑な複数音源の例をよりよく捉えていることが示唆される。
• 結果から、VGG-Soundでは深層CNNアーキテクチャが浅層モデルを上回ることが明らかになった。Model-C（深層）はModel-B（浅層）よりも優れた性能を示した。
• 最終的なデータセットは強い音声・映像の整合性を維持しており、10秒の各クリップで音声の視覚的源が明確に確認できるため、音声・映像タスクの信頼性の高い学習が可能である。