[論文レビュー] PSLA: Improving Audio Event Classification with Pretraining, Sampling, Labeling, and Aggregation.

Yuan Gong, Yu-An Chung+1 more|arXiv (Cornell University)|Feb 2, 2021

Music and Audio Processing被引用数 13

ひとこと要約

本論文は、ImageNetの事前学習、バランスサンプリング、データ拡張、ラベル強化、モデルアグリゲーションというトレーニング技術のフレームワークであるPSLAを紹介する。これらの手法をAudioSetでEfficientNetモデルに適用することで、PSLAは0.474の新しいSOTA mAPを達成し、以前の最高結果である0.439を上回った。

ABSTRACT

Audio event classification is an active research area and has a wide range of applications. Since the release of AudioSet, great progress has been made in advancing the classification accuracy, which mostly comes from the development of novel model architectures and attention modules. However, we find that appropriate training techniques are equally important for building audio event classification models with AudioSet, but have not received the attention they deserve. To fill the gap, in this work, we present PSLA, a collection of training techniques that can noticeably boost the model accuracy including ImageNet pretraining, balanced sampling, data augmentation, label enhancement, model aggregation and their design choices. By training an EfficientNet with these techniques, we obtain a model that achieves a new state-of-the-art mean average precision (mAP) of 0.474 on AudioSet, outperforming the previous best system of 0.439.

研究の動機と目的

• 音声イベント分類におけるトレーニング技術の軽視された役割に取り組むが、それらがモデル性能に与える影響は極めて重要である。
• AudioSetベンチマークにおけるモデル精度を著しく向上させる可能性を秘めた、重要なトレーニング要因を同定および評価する。
• 体系的なトレーニング改善が、アーキテクチャの革新単体よりも優れた性能を達成できることを示す。
• 音声イベント分類モデル向けに実用的で効果的かつ再現可能なトレーニングパイプラインを確立する。

提案手法

• 視覚から音声表現学習への転移学習を活用し、音声モデルのバックボーンをImageNetでの事前学習で初期化する。
• トレーニング中にすべての音声イベントクラスが均等に表現されるようにバランスサンプリングを実装し、クラス不均衡の影響を軽減する。
• データ拡張技術を適用してトレーニングデータの多様性を高め、一般化性能を向上させる。
• 疑似ラベリングや信頼度フィルタリングを用いて弱教師ありラベルを強化し、監視品質を向上させる。
• 複数のトレーニング済みモデル間でのモデルアグリゲーションを実施し、ばらつきを低減し、耐性を高める。
• すべての手法を統合した統一されたパイプライン（PSLA）を構築し、mAPを主な指標としてAudioSetデータセット上で評価する。

実験結果

リサーチクエスチョン

• RQ1 異なるトレーニング技術がAudioSetにおける音声イベント分類モデルの性能にどのように影響を与えるか？
• RQ2 ImageNetでの事前学習は、下流の音声イベント分類のための音声表現学習を向上させることができるか？
• RQ3 バランスサンプリングとデータ拡張は、モデルの一般化性能およびmAPをどの程度向上させるか？
• RQ4 ラベル強化とモデルアグリゲーションは、個別の手法を上回る性能向上を達成できるか？
• RQ5 すべての手法を1つのトレーニングパイプラインに統合した場合の総合的効果は何か？

主な発見

• 事前学習、サンプリング、ラベリング、アグリゲーションを統合したPSLAフレームワークは、AudioSet検証セットで0.474の新しいSOTA mAPを達成した。
• ImageNetでの事前学習は初期特徴学習を著しく向上させ、収束が速くなり、性能が向上する要因となった。
• バランスサンプリングは、代表が不足している音声イベントクラスにおける性能低下を効果的に低減した。
• データ拡張は、特にリソースが限られた状況下でもモデルの耐性と一般化性能を高めた。
• ラベル強化は、特にAudioSetの弱教師ありデータにおいて、監視品質を向上させた。
• 複数のトレーニング済みモデル間でのモデルアグリゲーションは、一貫した性能向上とばらつきの低減をもたらした。