[論文レビュー] Low-complexity acoustic scene classification for multi-device audio: analysis of DCASE 2021 Challenge systems

Irene Martín-Morató, Toni Heittola+2 more|arXiv (Cornell University)|May 28, 2021

Music and Audio Processing参考文献 17被引用数 32

ひとこと要約

DCASE 2021 Task 1Aを低複雑度のASCで複数デバイス対象で分析し、128 KBのモデルサイズ制約の下でベースライン、提出物、および上位システムを詳述。

ABSTRACT

This paper presents the details of Task 1A Acoustic Scene Classification in the DCASE 2021 Challenge. The task targeted development of low-complexity solutions with good generalization properties. The provided baseline system is based on a CNN architecture and post-training quantization of parameters. The system is trained using all the available training data, without any specific technique for handling device mismatch, and obtains an overall accuracy of 47.7%, with a log loss of 1.473. The task received 99 submissions from 30 teams, and most of the submitted systems outperformed the baseline. The most used techniques among the submissions were residual networks and weight quantization, with the top systems reaching over 70% accuracy, and log loss under 0.8. The acoustic scene classification task remained a popular task in the challenge, despite the increasing difficulty of the setup.

研究の動機と目的

• 音響場分類における厳格なモデルサイズ制約の下でデバイス間不一致に対する頑健性を調査する。
• 見られたデバイスと未知のデバイスおよび都市間で低複雑度モデルの一般化性能を評価する。
• 128 KBの下で高精度を達成する効果的な手法（データ拡張、プルーニング、量子化、蒸留）を特定する。
• 制約されたデバイス向けのアーキテクチャ選択（残差ネットワーク、MobileNet/EfficientNet系の変種）に関する洞察を提供する。

提案手法

• 11デバイス（実デバイスA,B,C,D；S1-S11はシミュレーション）を用いたTAU Urban Acoustic Scenes 2020 Mobileデータセットと10クラスのシーン。
• 複雑さの計算から特徴量抽出を除外し、モデルサイズの非ゼロパラメータ制限を128 KBに定義する。
• 40 log mel-band energiesを用いたベースラインCNN、学習後の16ビット量子化、10秒クリップ。
• 提出物をマクロ平均クロスエントロピー（対数損失）と精度で評価し、ランキングにはジャックナイフ信頼区間を用いる。
• 複雑さ制約の下で、特徴量の選択、データ拡張、アーキテクチャの観点から上位提出物を分析する。
• デバイス見え/見えないパフォーマンスと都市の見え/見えないパフォーマンスを比較して一般化を評価する。

実験結果

リサーチクエスチョン

• RQ1 128 KBのパラメータ予算内で、マルチデバイスの不一致下における低複雑度ASCモデルはどの程度性能を発揮するか？
• RQ2 デバイスと都市間の一般化を最大化する最も効果的な手法（データ拡張、プルーニング、量子化、蒸留）は何か？
• RQ3 見えたデバイスと未見のデバイス、見えた都市と未見の都市の間で性能はどのように異なるか？
• RQ4 制約されたデバイス向けのASCで、精度とモデルサイズのバランスが最も良いアーキテクチャは何か？
• RQ5 ドメイン適応や学習手法はデバイス不一致に対する頑健性をどの程度改善するか？

主な発見

System	Logloss ± 95% CI	Acc ± 95% CI (%)	Size (KB)	Weights	Sparsity	Learning	Architecture
Kim_QTI_2	0.72 ± 0.03	76.1 ± 0.94	121.9	int8	✓	KD	BC-ResNet
Yang_GT_3	0.74 ± 0.02	73.4 ± 0.97	125.0	int8	✓	KD	Ensemble
Koutini_CPJKU_3	0.83 ± 0.03	72.1 ± 0.99	126.2	float16	✓	grouping CNN | CP_ResNet
Heo_Clova_4	0.87 ± 0.02	70.1 ± 1.01	124.1	float16	-	KD	ResNet
Liu_UESTC_3	0.88 ± 0.02	69.6 ± 1.01	42.5	1-bit	-	-	ResNet
Byttebier_IDLab_4	0.91 ± 0.02	68.8 ± 1.02	121.9	int8	✓	grouping CNN	ResNet

• ベースラインの128 KB対応CNNはfloat16量子化を用いて、開発データで47.7%の精度と1.473の対数損失を達成。
• 上位提出物は70%を超える精度と0.8未満の対数損失を達成、残差ネットワークと重み量子化を使用。
• ほとんどの上位システムは110〜126 KBのサイズ帯で、制限に近い。1つの小さなモデル（29 KB）は集中的なプルーニングと16-bit量子化を使用。
• 見えたデバイス（A,B,C,S1–S3）で性能が高く、未見デバイス（D,S7–S11）では低い。低ランクのシステムほどギャップが大きい。
• 見えた都市と未見都市の性能の相関は強く（0.95）、見えたデバイスと未見デバイスの相関は弱く（0.91）、デバイス不一致が主な一般化の課題を示す。
• 残差正規化、ドメイン対立訓練、データ拡張（mixup、specAugment）は一般化を向上させる。知識蒸留はランキングで特に効果的。