[論文レビュー] LPRNet: Lightweight Deep Network by Low-rank Pointwise Residual Convolution

Bin Sun, Jun Li+2 more|arXiv (Cornell University)|Oct 25, 2019

Sparse and Compressive Sensing Techniques参考文献 54被引用数 5

ひとこと要約

LPRNetは、低ランク畳み込みと残差接続を組み合わせた軽量な深層学習モジュールを提案し、モデルサイズと計算コストを削減する。ポイントワイズ畳み込みを低ランク行列に分解し、深層残差接続を追加することで、MobileNetv1と比較して73%のパラメータ圧縮と1.8倍の推論速度向上を達成しながら、画像分類および顔アライメントタスクで競争力ある精度を維持した。

ABSTRACT

Deep learning has become popular in recent years primarily due to the powerful computing device such as GPUs. However, deploying these deep models to end-user devices, smart phones, or embedded systems with limited resources is challenging. To reduce the computation and memory costs, we propose a novel lightweight deep learning module by low-rank pointwise residual (LPR) convolution, called LPRNet. Essentially, LPR aims at using low-rank approximation in pointwise convolution to further reduce the module size, while keeping depthwise convolutions as the residual module to rectify the LPR module. This is critical when the low-rankness undermines the convolution process. We embody our design by replacing modules of identical input-output dimension in MobileNet and ShuffleNetv2. Experiments on visual recognition tasks including image classification and face alignment on popular benchmarks show that our LPRNet achieves competitive performance but with significant reduction of Flops and memory cost compared to the state-of-the-art deep models focusing on model compression.

研究の動機と目的

• リソース制約のあるデバイス（モバイルや組み込みシステムなど）へのディープニューラルネットワークの実装に向け、計算コストとメモリコストを低減すること。
• MobileNet や ShuffleNetv2 などの深層分離畳み込みフレームワーク内でも、ポイントワイズ畳み込みに起因する高いパラメータ数とFLOPsの問題を解決すること。
• 既存のネットワーク構造を変更せずに標準畳み込みに置き換え可能な汎用的でアーキテクチャに依存しないモジュールを開発すること。
• 低ランク近似による過度な圧縮に対しても、残差学習を組み込むことでモデル性能を維持または向上させること。

提案手法

• LPRNetは、CP分解を用いて大規模なポイントワイズ畳み込みを2つの小さな低ランク畳み込みに分解する低ランクポイントワイズ残差（LPR）モジュールを導入する。
• この手法により、ポイントワイズ畳み込みのパラメータ数を $nm$ から $ (n + m)r $ に削減し、ここで $ r \ll \min(n, m) $ であるため、計算コストを顕著に低減できる。
• 低ランク近似による情報損失を補うために、深層畳み込みを介した残差接続を実装し、追加のパラメータを追加しない。
• LPRモジュールはアーキテクチャの変更なしにMobileNetおよびShuffleNetv2アーキテクチャに統合可能であり、プラグアンドプレイでの展開が可能である。
• ネットワークはAdam最適化法とXavier初期化を用い、$L_2$損失関数で訓練され、15エポック後に学習率を減衰させる。
• モデルの圧縮率と速度は、CPU上でフレーム毎秒（FPS）を用いて評価され、ストレージサイズは圧縮後のモデルから測定される。

実験結果

リサーチクエスチョン

• RQ1 低ランク行列分解をモジュールレベルに効果的に適用することで、パフォーマンスを損なわず、パラメータ数とFLOPsを削減できるか？
• RQ2 深層畳み込みによる残差接続は、ポイントワイズ畳み込みにおける低ランク近似による性能劣化をどの程度緩和できるか？
• RQ3 LPRモジュールは、画像分類および顔アライメントベンチマークでモデルサイズと推論時間をどの程度削減できるか？
• RQ4 LPRモジュールは、アーキテクチャの変更なしに、MobileNet や ShuffleNetv2 などの既存の軽量ネットワークにスムーズに統合できるか？

主な発見

• ImageNetデータセットでは、最先端の圧縮モデルと比較して、LPRNetは顕著に少ないパラメータ数とFLOPsで競争力あるトップ-1精度を達成した。
• AFLW2000-3D顔アライメントベンチマークでは、LPRNet ×0.5は最先端のPCD-CNNと比較して5%低いNMEを達成した。
• LPRNet ×0.25はPCD-CNNおよびMobileNetv1と同等のNMEを達成したが、CPU上で1.8倍高速であり、73%のパラメータ圧縮を達成した。
• LPRNet ×0.25はShuffleNetv1の3.4倍小さく、最小のベースライン深層学習モデルと比較して120倍も小さく、NMEも低かった。
• CPU上では、LPRNet ×0.25は軽量モデルの中で2番目に高速であり、SDM や ERT などの最も高速なモデルを精度面で上回った。
• さまざまな顔の姿勢角度においても高い性能を維持しており、全テストサブセットで累積誤差分布に一貫した改善が見られた。