[論文レビュー] Domain Generalization on Efficient Acoustic Scene Classification using Residual Normalization

Byeonggeun Kim, Seunghan Yang+2 more|arXiv (Cornell University)|Nov 12, 2021

Music and Audio Processing参考文献 22被引用数 7

ひとこと要約

本論文は、デバイス固有の音声変動を抑制しながらクラス判別特徴を保持する周波数別正規化手法であるResidual Normalization（ResNorm）を提案する。この手法により、効率的な音声シーン分類におけるドメイン一般化が可能となり、DCASE 2021 Challenge Task1Aで1位を獲得した。TAU Urban Acoustic Scenes 2020 Mobileデータセットにおいて、315kパラメータで76.3%のテスト精度を達成し、61.0KBに圧縮後も75.3%の精度を維持した。

ABSTRACT

It is a practical research topic how to deal with multi-device audio inputs by a single acoustic scene classification system with efficient design. In this work, we propose Residual Normalization, a novel feature normalization method that uses frequency-wise normalization % instance normalization with a shortcut path to discard unnecessary device-specific information without losing useful information for classification. Moreover, we introduce an efficient architecture, BC-ResNet-ASC, a modified version of the baseline architecture with a limited receptive field. BC-ResNet-ASC outperforms the baseline architecture even though it contains the small number of parameters. Through three model compression schemes: pruning, quantization, and knowledge distillation, we can reduce model complexity further while mitigating the performance degradation. The proposed system achieves an average test accuracy of 76.3% in TAU Urban Acoustic Scenes 2020 Mobile, development dataset with 315k parameters, and average test accuracy of 75.3% after compression to 61.0KB of non-zero parameters. The proposed method won the 1st place in DCASE 2021 challenge, TASK1A.

研究の動機と目的

• 不均衡なデータと限られたモデル複雑度のもとで、複数の音声デバイスに跨る音声シーン分類の課題に対処すること。
• パrameterを最小限に抑える一方で高い精度を維持する効率的なニューラルネットワークアーキテクチャの開発。
• デバイス固有の特徴バイアスを低減することで、未観測デバイスへの一般化性能を向上させつつ、判別情報の損失を防ぐこと。
• スプライシング、量子化、知識蒸留を用いたモデル圧縮を実施し、性能劣化を最小限に抑えること。
• 低複雑度モデルにおけるデバイス変動へのロバスト性を向上させる新規な正規化手法の設計。

提案手法

• 受容 field を制限し、拡張の代わりにマックスプーリングを用いた、モデルサイズを削減するための変更を加えたBroadcasting-Residual Network（BC-ResNet-ASC）を提案。
• 周波数帯毎にインスタンス正規化を適用し、学習可能なショートカットパスを備えた周波数別正規化であるResidual Normalization（ResNorm）を導入。
• 出力が周波数別に正規化された特徴と元の残差入力を重み付き和で結合するハイブリッド正規化戦略を採用。重みパラメータλが制御する。
• 圧縮による精度劣化を緩和するために、大規模な教師モデルから小規模な学生モデルへ知識蒸留を適用。
• 構造的スプライシング（89%のスプライシング比）とミックスド・プレシジョン量子化（畳み込み層で8ビット、正規化層で16ビット）を適用し、非ゼロパラメータ数を61.0KBに削減。

実験結果

リサーチクエスチョン

• RQ1 軽量なニューラルネットワークアーキテクチャは、デバイス固有の変動に対してロバストである一方で、高い精度を達成できるか？
• RQ2 残差ショートカットパスを備えた周波数別正規化（ResNorm）は、標準的な正規化や特徴変換と比較して、未観測デバイスへの一般化性能をどの程度向上させるか？
• RQ3 スプライシング、量子化、知識蒸留といったモデル圧縮技術は、低複雑度のASCにおいて、性能劣化を最小限に抑えながらモデルサイズをどの程度削減できるか？
• RQ4 提案されたResNormモジュールは、観測済みおよび未観測デバイスの両方で性能を向上させるか、特にドメインの不均衡下でも同様に有効か？
• RQ5 ResNormのハイパーパrameter λ を 0.1 に固定することで、異なるモデルサイズにおいて正則化と特徴保持のバランスを適切にとれるか？

主な発見

• Residual Normalizationを備えたBC-ResNet-ASC-1モデルは、65.8%のテスト精度を達成し、ベースライン比で6%の向上を示した。特に未観測デバイスでの性能向上が顕著であった。
• Residual Normalizationにより、観測済みと未観測デバイス間の精度差が縮小され、小規模モデルではデバイスAで3.0%、デバイスAで8.2%の向上が確認された（FreqIN単独と比較）。
• フルモデル（BC-ResNet-ASC-8 + ResNorm）は、TAU Urban Acoustic Scenes 2020 Mobile開発セットで315kパラメータで76.3%のテスト精度を達成した。
• 89%のスプライシング、8ビット量子化、知識蒸留を適用した圧縮後、非ゼロパラメータ数は61.0KBにまで削減され、75.3%のテスト精度を維持した。
• アブレーションスタディの結果、ResNormモジュールをネットワークから除去すると、小規模モデルでは性能が向上（67.1%）するが、大規模モデルでは1%の劣化を示す。これは、λの適応的チューニングの必要性を示唆している。
• ショートカットなしのアブレーション（FreqINと同等）では、小規模モデルでデバイスAの精度がResNormと比較して8.2%も低く、アイデンティティスキップ接続の重要性を裏付けた。