[論文レビュー] Exploring Fine-Grained Audiovisual Categorization with the SSW60 Dataset

Grant Van Horn, Rui Qian+4 more|arXiv (Cornell University)|Jul 21, 2022

Music and Audio Processing被引用数 5

ひとこと要約

本論文では、60種の鳥類を対象に、ペアド画像、音声、動画を備えた新規のエキスパートが選別したデータセットSSW60を紹介する。最先端のトランスフォーマー基盤の統合手法を用いて、著者らは音声と視覚の統合が一貫して単モodalモデルを上回ることを示し、トップ1正答率80.6％を達成した。また、ペアではない音声データでの事前学習が性能を著しく向上させることを明らかにした一方で、画像での事前学習は場合によっては性能を低下させることがある。

ABSTRACT

We present a new benchmark dataset, Sapsucker Woods 60 (SSW60), for advancing research on audiovisual fine-grained categorization. While our community has made great strides in fine-grained visual categorization on images, the counterparts in audio and video fine-grained categorization are relatively unexplored. To encourage advancements in this space, we have carefully constructed the SSW60 dataset to enable researchers to experiment with classifying the same set of categories in three different modalities: images, audio, and video. The dataset covers 60 species of birds and is comprised of images from existing datasets, and brand new, expert-curated audio and video datasets. We thoroughly benchmark audiovisual classification performance and modality fusion experiments through the use of state-of-the-art transformer methods. Our findings show that performance of audiovisual fusion methods is better than using exclusively image or audio based methods for the task of video classification. We also present interesting modality transfer experiments, enabled by the unique construction of SSW60 to encompass three different modalities. We hope the SSW60 dataset and accompanying baselines spur research in this fascinating area.

研究の動機と目的

• 自然なカテゴリ（例：鳥類）における細分化された音声視覚的分類のための高品質なマルチモーダルデータセットの不足に対処すること。
• 画像、音声、動画の間でのクロスモーダル学習と統合の体系的検討を可能にする。
• 60種の鳥類からなる共通のエキスパートが選別したデータセット上で、音声視覚統合と事前学習戦略の有効性をベンチマークすること。
• 特に生物多様性の監視やリアルタイム展開を念頭に、今後のマルチモーダルな細分化分類研究の基盤を提供すること。

提案手法

• 60種の鳥類を対象に、5,400本の10秒間の動画クリップ、3,861本の10秒間の音声録音、NABirdsおよびiNaturalistの画像データを含むSSW60の構築。
• 視覚的および音声的特徴抽出のための最先端のビジョンおよび音声トランスフォーマー（例：MBT）をバックボーンとして使用。
• 後期統合、スコア統合、ミッドフュージョン（MBT）の複数の統合戦略を用いて音声と視覚の予測を統合。
• 外部データセット（ImageNet、NABirds、iNaturalist、およびペアではない音声）での事前学習の後、SSW60の動画データで微調整することで、トランスファー学習の効果を評価。
• 60クラス分類タスクにおけるトップ1正答率を用いて、モダリティ固有のモデルと統合モデルの評価。
• 分類ごとの統合性能分析を通じて、統合が正答率を向上または低下させる種を特定。

実験結果

リサーチクエスチョン

• RQ1 細分化された鳥類分類において、音声視覚統合は単モダリティ分類と比べてどのように異なるか？
• RQ2 後期統合、スコア統合、ミッドフュージョンのうち、どの統合戦略がSSW60データセットで最も高い性能を発揮するか？
• RQ3 外部の画像および音声データセットでの事前学習は、SSW60の動画分類タスクにおける下流性能にどのように影響するか？
• RQ4 特定の鳥類において、どのモダリティ（音声または視覚）がより効果的か。また、統合が性能を向上または低下させる状況はどのようなものか？
• RQ5 ペアではない画像と音声を用いたモダリティ転送実験から、動画分類においてどのような知見が得られるか？

主な発見

• 音声視覚統合は一貫して単モダリティモデルを上回り、最良の統合手法でトップ1正答率80.6％を達成し、あらゆる単一モダリティを上回った。
• 後期統合およびスコア統合は、異なる事前学習設定においてミッドフュージョン（MBT）を上回った。これは、最適な統合手法が一貫して存在しないことを示唆している。
• ペアではない音声録音での事前学習が性能を著しく向上させ、SSW60の音声チャネルで微調整した際には約20％のトップ1正答率上昇が見られた。
• 高品質な画像（例：NABirds や iNaturalist）での事前学習は、場合によっては性能を低下させることがあり、ドメインシフトや過学習のリスクを示唆している。
• 統合は27種の鳥類で性能を向上させ、27種で正答率を維持し、6種では低下させた。これは、統合が常に有益ではなく、種に応じたモダリティの強みに依存することを示している。
• 結果から、音声と視覚のモダリティは補完的であることが確認された。視覚的に類似しているが音声で異なる種（例：アメリカクロウ 対 一般クロウ）は音声によって利益を受ける一方、音声で類似しているが視覚で異なる種（例：イエローウォーブラー 対 ケントンチドリ）は視覚によって利益を受ける。