[論文レビュー] A Lottery Ticket Hypothesis Framework for Low-Complexity Device-Robust Neural Acoustic Scene Classification

Yen, Hao, Chao-Han Huck Yang+10 more|arXiv (Cornell University)|Jul 3, 2021

Music and Audio Processing被引用数 6

ひとこと要約

この論文は、知識蒸留、ロットリーサンチケット仮説に基づく pruning、データ拡張、量子化を組み合わせた新しいフレームワーク、Acoustic Lottery を提案する。これにより、低複雑性かつマルチデバイスに強い神経音響シーン分類器の圧縮が可能となり、128 KB未満のモデルサイズで79.4%の検証精度と0.64のlog lossを達成した。過パラメータ化されたモデルがエッジデプロイメントに適した高性能でコンactなシステムにまで削減可能であることを示している。

ABSTRACT

We propose a novel neural model compression strategy combining data augmentation, knowledge transfer, pruning, and quantization for device-robust acoustic scene classification (ASC). Specifically, we tackle the ASC task in a low-resource environment leveraging a recently proposed advanced neural network pruning mechanism, namely Lottery Ticket Hypothesis (LTH), to find a sub-network neural model associated with a small amount non-zero model parameters. The effectiveness of LTH for low-complexity acoustic modeling is assessed by investigating various data augmentation and compression schemes, and we report an efficient joint framework for low-complexity multi-device ASC, called \emph{Acoustic Lottery}. Acoustic Lottery could compress an ASC model up to $1/10^{4}$ and attain a superior performance (validation accuracy of 79.4% and Log loss of 0.64) compared to its not compressed seed model. All results reported in this work are based on a joint effort of four groups, namely GT-USTC-UKE-Tencent, aiming to address the "Low-Complexity Acoustic Scene Classification (ASC) with Multiple Devices" in the DCASE 2021 Challenge Task 1a.

研究の動機と目的

• エッジデバイスに適した低複雑性かつデバイスに強い音響シーン分類（ASC）モデルの開発という課題に対処すること。
• 過パラメータ化されたASCモデルが一般化性能を損なわずに、小さな高性能な部分ネットワークに圧縮可能かどうかを調査すること。
• データ拡張、知識蒸留、構造的pruning、量子化を統合した効率的なデプロイメント用の統合フレームワークを設計すること。
• DCASE 2021 コンペティション タスク1a の要件である128 KB未満のモデルサイズを満たしつつ、多様な録音デバイスで高い性能を維持すること。

提案手法

• 大規模で事前学習済みの2段階FCNN教師モデルから、小規模な生徒モデルへ知識を転送する教師-生徒学習（知識蒸留）フレームワークを採用する。
• ロットリーサンチケット仮説（LTH）を用いて、元のネットワークと同じランダム重みで初期化された生徒モデルからスパースでprunedされた部分ネットワークを同定・微調整する。
• Mixup、スペクトル拡張、ピッチシフト、スピード変更、ノイズ注入などのデータ拡張技術を用い、多様なデバイス間での一般化性能を向上させる。
• 複数のモデルヘッドの出力を統合することで予測性能を向上させる2段階のファージョン手法を採用する。
• pruning後に、float32からfloat8への量子化を適用し、さらにモデルサイズを縮小し、4倍の圧縮率を達成する。
• 最終的なフレームワークであるAcoustic Lotteryは、すべてのコンponentsを1つのパイプラインに統合し、非ゼロパラメータが128 KB未満のモデルを生成した。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化され、デバイスに強いASCモデルは、性能を維持または向上させつつ、顕著に圧縮可能か？
• RQ2 ロットリーサンチケット仮説は、低複雑性デプロイメントに適した神経音響モデルの有効なpruningを可能にするか？
• RQ3 知識蒸留とデータ拡張が、低複雑性ASCにおけるロバストネスと性能にどのように寄与するか？
• RQ4 量子化をpruningおよび蒸留と効果的に組み合わせることで、性能劣化を伴わずに超コンパクトなモデルを実現可能か？

主な発見

• Acoustic Lotteryフレームワークは、検証精度79.4%、log loss 0.64を達成し、pruningを行わない生徒モデルのベースラインを上回った。
• LTH pruningにより、SICアーキテクチャのモデルサイズが約149倍（503KB → 0.9KB）に縮小され、精度は67.8%から79.4%に向上した。
• 知識蒸留とLTH pruningの組み合わせにより、149倍の圧縮率が達成され、ベースラインよりも優れた性能を示した。これは、元のモデルが顕著に過パラメータ化されていることを確認した。
• float32からfloat8への量子化により4倍の圧縮率が達成されたが、性能は劣化した。しかし、4つの量子化モデルをアンサンブル化することで、非量子化ベースラインを上回った。
• 最終的な提出物は、SICおよびLICモデルの4つの2段階アンサンブルを用い、開発セットで最高の性能（79.4%の精度、0.64のlog loss）を達成した。
• LICモデルは687KBに圧縮され、最良のlog lossは0.925であった。パラメータ削減率を60%から20%にした（20%削減）ことで、精度は67.64%から68.59%に向上した。