[論文レビュー] Structured Transforms for Small-Footprint Deep Learning

Vikas Sindhwani, Tara N. Sainath+1 more|arXiv (Cornell University)|Oct 6, 2015

Speech and Audio Processing参考文献 26被引用数 102

ひとこと要約

この論文は、低位移ランクを持つ構造的行列を学習する統一的なフレームワークを提案し、モバイルデバイスへのデプロイに適した効率的でコンパクトなディープラーニングを実現する。トーペリッツ、バーデルモンド、カウチ行列といった構造的変換を活用することで、推論と学習の両方を高速化し、精度・コンパクト性・速度のトレードオフを優れたものにしている。キーワードスプライティングにおいて、モデルサイズを3.5倍以上削減しながら、ほぼ最先端の性能を達成している。

ABSTRACT

We consider the task of building compact deep learning pipelines suitable for deployment on storage and power constrained mobile devices. We propose a unified framework to learn a broad family of structured parameter matrices that are characterized by the notion of low displacement rank. Our structured transforms admit fast function and gradient evaluation, and span a rich range of parameter sharing configurations whose statistical modeling capacity can be explicitly tuned along a continuum from structured to unstructured. Experimental results show that these transforms can significantly accelerate inference and forward/backward passes during training, and offer superior accuracy-compactness-speed tradeoffs in comparison to a number of existing techniques. In keyword spotting applications in mobile speech recognition, our methods are much more effective than standard linear low-rank bottleneck layers and nearly retain the performance of state of the art models, while providing more than 3.5-fold compression.

研究の動機と目的

• パower制限およびストレージ制限のあるモバイル機器やウェアラブル機器に大規模なディープラーニングモデルをデプロイする課題に対処すること。
• モデルサイズを削減し、計算を高速化するための構造的パラメータ行列を学習する統一的なフレームワークを開発すること。
• 位移ランクを介して、構造的から非構造的な統計的モデリング能力へと明示的なチューニングを可能にすること。
• 低ランクボトルネック、シルロイド変換、ファストフード変換といった既存手法を上回る精度、圧縮率、推論速度を達成すること。

提案手法

• フレームワークは、高速な行列-ベクトル乗算と勾配計算を可能にする低位移ランクを持つパラメータ行列を学習する。
• トーペリッツ、バーデルモンド、カウチといった複数の構造的行列クラスを、共通の代数的枠組みでモデル化することで一般化する。
• 各行列クラスに特化した高速アルゴリズムを用いて、関数と勾配の評価を効率化し、ランク-r近似ではO(mn)の計算量をO(r(m+n))に削減する。
• パラメータ共有は位移ランクによって明示的に制御され、非常に構造的からほぼ非構造的な行列への連続的変換が可能になる。
• 特に全結合層において、密行列をコンパクトで構造的な代替手段に置き換えることで、ディープラーニングパイプラインに統合する。
• 層固有の学習率を用いた標準的な確率的最適化を用いて、構造的変換のエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 低位移ランクを持つ構造的変換は、モバイルディープラーニングにおける標準的な低ランクボトルネックよりも、より優れた精度・コンパクト性・速度のトレードオフを達成できるか？
• RQ2 トーペリッツ、バーデルモンド、カウチのような構造的行列は、性能を維持しつつ、どの程度モデルサイズを削減できるか？
• RQ3 位移ランクは、構造的変換のモデリング能力と一般化能力をどのように制御するか？
• RQ4 実世界のモバイルアプリケーションにおいて、Circulant や Fastfood といった特化型構造的行列を上回る性能を、構造的変換は達成できるか？

主な発見

• 位移ランク=1のトーペリッツに類する構造的変換（パラメータ数3,348）は、ランク=16の低ランクボトルネック（パラメータ数53,568）を上回り、キーワードスプライティングにおいて誤拒否率を10.2%から8.2%に低下させた。
• 位移ランク=10のモデルでは誤拒否率が6.2%にまで低下し、より大きなランク=32の低ランクモデル（6.8%）を上回った。
• 最良の構造的変換モデルは、80倍も大きな全結合モデルと3.6倍大きなリファレンスモデルの性能に0.4%以内で近づいた。
• この手法は、全結合モデルおよびリファレンスモデルの分類精度に0.2%以内で達し、標準的な低ランクベースラインよりも著しく高速に学習を実行できた。
• ノイズ環境（例：0dBのバブルノイズを含むcafe0データセット）においても、構造的変換の性能向上は一貫的かつ頑健であった。