[論文レビュー] Compression of Acoustic Event Detection Models with Low-rank Matrix Factorization and Quantization Training

Bowen Shi, Ming Sun+4 more|arXiv (Cornell University)|May 2, 2019

Music and Audio Processing参考文献 15被引用数 11

ひとこと要約

この論文は、SVDによる低ランク行列分解と量子化学習を組み合わせたハイブリッドなモデル圧縮技術を提案し、精度の損失を最小限に抑えつつ、LSTMベースの音響イベント検出（AED）モデルのサイズを著しく縮小する。SVDを用いて再帰的重み行列を圧縮し、量子化学習による微調整を施すことで、元のモデルサイズのわずか1%にまで縮小され、AEDタスクにおいて準最先端の性能を維持する。

ABSTRACT

In this paper, we present a compression approach based on the combination of low-rank matrix factorization and quantization training, to reduce complexity for neural network based acoustic event detection (AED) models. Our experimental results show this combined compression approach is very effective. For a three-layer long short-term memory (LSTM) based AED model, the original model size can be reduced to 1% with negligible loss of accuracy. Our approach enables the feasibility of deploying AED for resource-constraint applications.

研究の動機と目的

• リソース制限のある産業環境において、大規模で計算コストの高いディーブラーニングモデルを音響イベント検出（AED）にデプロイする課題に対処すること。
• LSTMベースのAEDシステムにおいて、精度の著しい低下を伴わずにモデルサイズと推論コストを削減すること。
• 低ランク行列因子分解と量子化学習を統合した圧縮戦略としての有効性を調査すること。
• メモリと処理能力が限られたエッジデバイスに、圧縮されたAEDモデルをデプロイ可能であることを実証すること。

提案手法

• 3層LSTMの再帰的重み行列（$W_h^l$）に対して、切り捨て特異値分解（SVD）を用いて低ランク行列因子分解を適用し、上位$r$個の特異値と特異ベクトルを保持する。
• SVDにおける右特異ベクトル（$V_{h}^{lr}$）を入力重み行列$W_x^l$と共有し、$Z_x^l \tilde{V}_{h}^{lr^T}$として近似することでパラメータ数を削減する。
• 対称的量子化関数$Q_n(\mathbf{V}) = \alpha \hat{Q}_n(\hat{\mathbf{V}}) + \beta$を用いたポストトレーニング量子化を実装し、$\hat{\mathbf{V}} = (\mathbf{V} - \beta)/\alpha$、$n$ビット整数表現を採用する。
• 微調整中に非微分可能な量子化関数を通過させるために、ストレートスルーエスティメーターを用いる。
• 量子化後にモデルを微調整する量子化学習（QT）を実施し、推論時のみに量子化を適用するポストモーテム（PM）とは異なったアプローチを取る。
• 因子化された行列$Z_h^l$、$Z_x^l$、$\tilde{V}_{h}^{lr}$およびネットワーク入力に対しても量子化を適用し、さらにモデルを圧縮する。

実験結果

リサーチクエスチョン

• RQ1 低ランク行列因子分解と量子化学習を組み合わせることで、LSTMベースのAEDモデルを効果的に圧縮できるか、かつ検出精度を維持できるか？
• RQ2 特異値保持率（$\tau$）の選択が、低ランク因子化されたAEDモデルの精度と圧縮比にどのように影響するか？
• RQ3 量子化学習（QT）は、圧縮後のモデル性能を維持するために、ポストモーテム量子化（PM）を著しく上回るか？
• RQ4 低ランク因子分解と量子化を組み合わせた場合、許容できる精度損失の範囲で達成可能な最小モデルサイズはどの程度か？
• RQ5 4ビットと8ビットなどの異なるビット幅が、特に量子化学習で微調整された場合の、量子化AEDモデルの性能にどのように影響するか？

主な発見

• 低ランク行列因子分解を$\tau = 0.6$で適用すると、モデルサイズが0.316 MB（元の6%）にまで削減され、精度に顕著な低下は認められず、AUCとEERはフルプレシジョンベースラインと同等の水準を維持する。
• 8ビット量子化学習（QT）と組み合わせると、モデルサイズは0.079 MB（元の1.5%）にまで削減され、平均AUCは6.33%、EERは13.26%に達する。ベースラインと比較してAUCは0.2%増加、EERは1.9%改善しており、精度損失は最小限である。
• 4ビット量子化では、8ビットQTモデルが4ビットPMモデルを著しく上回り、EERは7.43%（PMでは19.24%）を示す。これは、量子化後に微調整を行う必要性を示している。
• 4ビット量子化モデルにQTを適用すると、モデルサイズはわずか0.040 MB（元の0.76%）にまで削減され、平均AUCは8.17%、EERは14.94%を記録する。これは、中程度の精度損失で非常に高い圧縮効率を示している。
• ポストモーテム量子化（PM）は、特に4ビット精度の低ランクモデルで顕著な性能低下を引き起こす（平均EER 23.48%）。これは、量子化後に微調整を行う重要性を強調している。
• 統合的なアプローチにより、モデルサイズは98%削減（元の1%）され、精度損失はほとんどないため、メモリと計算リソースが限られたエッジデバイスへのデプロイが可能である。