[論文レビュー] Audio-visual scene classification: analysis of DCASE 2021 Challenge submissions

Shanshan Wang, Toni Heittola+2 more|arXiv (Cornell University)|May 28, 2021

Music and Audio Processing参考文献 20被引用数 5

ひとこと要約

本論文は、12か国からの同期音声映像データセットを用いたDCASE 2021チャレンジの音声映像シーン分類タスクを分析し、43件の提出物を評価した。最高のシステムは、大規模な事前学習モデル（例：ResNet、EfficientNet）、トランスファーラーニング、データ拡張、マルチモーダル統合を活用することで、logloss 0.195、正答率93.8%を達成し、ベースライン（logloss 0.662、正答率77.1%）を著しく上回った。

ABSTRACT

This paper presents the details of the Audio-Visual Scene Classification task in the DCASE 2021 Challenge (Task 1 Subtask B). The task is concerned with classification using audio and video modalities, using a dataset of synchronized recordings. This task has attracted 43 submissions from 13 different teams around the world. Among all submissions, more than half of the submitted systems have better performance than the baseline. The common techniques among the top systems are the usage of large pretrained models such as ResNet or EfficientNet which are trained for the task-specific problem. Fine-tuning, transfer learning, and data augmentation techniques are also employed to boost the performance. More importantly, multi-modal methods using both audio and video are employed by all the top 5 teams. The best system among all achieved a logloss of 0.195 and accuracy of 93.8%, compared to the baseline system with logloss of 0.662 and accuracy of 77.1%.

研究の動機と目的

• DCASE 2021チャレンジに提出された音声映像シーン分類システムの性能を評価・分析すること。
• マルチモーダルシーン分類において、上位パフォーマンスを示したシステムが採用した最も効果的な技術およびアーキテクチャを特定すること。
• 性能および耐性の観点から、単モーダル（音声のみ、映像のみ）とマルチモーダルアプローチを比較すること。
• モデルの複雑さ、トランスファーラーニング、データ拡張が、システムの汎化性能および正答率に与える影響を評価すること。

提案手法

• 本研究は、12か国の都市から収集された同期音声映像データセットを用いて、13の国際的チームから提出された43件の提出物を評価した。
• ベースラインシステムは、音声にログメルスペクトログ램を、映像に標準的なCNNを用い、TUM Urban Audio-Visual Scenes 2021データセットで学習し、初期統合を実施した。
• 上位システムは、タスクに合わせて微調整された大規模な事前学習モデル（例：ResNet、EfficientNet）を採用した。
• 時間シフト、周波数マスク、mixupなどのデータ拡張技術が、耐性向上のために広く用いられた。
• 上位5チーム全員がマルチモーダル統合戦略を採用し、後期統合または初期統合メカニズムを用いて音声および映像特徴を統合した。
• 性能評価は、開発セットおよび評価セットにおけるloglossおよび正答率を用い、解釈のための混同行列および相関分析も実施した。

実験結果

リサーチクエスチョン

• RQ1 音声映像シーン分類において、最も効果的なディープラーニングアーキテクチャおよび事前学習戦略は何か？
• RQ2 性能および汎化性能の観点から、マルチモーダル統合は単モーダルアプローチと比べてどのように異なるか？
• RQ3 データ拡張および微調整は、システムの耐性および正答率をどの程度向上させるか？
• RQ4 このタスクにおけるモデルの複雑さとシステムパフォーマンスの関係は何か？
• RQ5 最高パフォーマンスを示したシステムは、未学習の都市およびシーンクラスにどの程度一般化できるか？

主な発見

• 最高パフォーマンスを示したシステムは、logloss 0.195、正答率93.8%を達成し、ベースライン（logloss 0.662、正答率77.1%）を著しく上回った。
• 43件の提出物の半数以上がベースラインシステムを上回ったことから、分野全体における顕著な進歩が示された。
• 映像のみのモデルが音声のみのモデルを上回り、最高の映像のみシステムはlogloss 0.132、正答率91.6%を達成した。
• 最高システムは「公園」で100%の正答率、「地下鉄駅」で99%の正答率を達成し、最小クラス性能は84%であった。
• モデルの複雑さとシステム順位との間のスピアーマン順位相関係数は0.75であり、強い正の相関関係が示された。
• 混同行列の分析から、「空港」が「ショッピングモール」と誤分類されやすく、「トランジットバス」が「バス」や「地下鉄」に誤分類される傾向が見られ、シーンの知覚的類似性が要因であることが明らかになった。