[論文レビュー] PLiNIO: A User-Friendly Library of Gradient-based Methods for Complexity-aware DNN Optimization

Daniele Jahier Pagliari, Matteo Risso+2 more|arXiv (Cornell University)|Jul 18, 2023

Advanced Neural Network ApplicationsComputer Science被引用数 3

ひとこと要約

PLiNIO は、エッジデプロイ用に深層ニューラルネットワークの自動的・勾配ベースの最適化を可能にする、オープンソースで使いやすい PyTorch ライブラリです。粗粒度および細粒度のニューラルアーキテクチャ探索（NAS）と微分可能混合精度量子化（MPS）を統合し、ベースラインモデルと比較して最大 94.34% のメモリ削減を達成しながら、わずか 0.92% の精度低下に抑えました。

ABSTRACT

Accurate yet efficient Deep Neural Networks (DNNs) are in high demand, especially for applications that require their execution on constrained edge devices. Finding such DNNs in a reasonable time for new applications requires automated optimization pipelines since the huge space of hyper-parameter combinations is impossible to explore extensively by hand. In this work, we propose PLiNIO, an open-source library implementing a comprehensive set of state-of-the-art DNN design automation techniques, all based on lightweight gradient-based optimization, under a unified and user-friendly interface. With experiments on several edge-relevant tasks, we show that combining the various optimizations available in PLiNIO leads to rich sets of solutions that Pareto-dominate the considered baselines in terms of accuracy vs model size. Noteworthy, PLiNIO achieves up to 94.34% memory reduction for a <1% accuracy drop compared to a baseline architecture.

研究の動機と目的

• エッジデプロイを想定した DNN 設計における膨大なハイパーパramータースペースを手動で探索する課題に対処すること。
• 最新の勾配ベースの AutoML 技術（NAS や混合精度量子化を含む）を統合し、アクセスしやすいインターフェースを提供すること。
• 制限されたハードウェアをターゲットとする DNN のための効率的で、複雑さを考慮した設計空間探索（DSE）を可能にすること。
• NAS や量子化の専門知識がなくても、既存の PyTorch ワークフローに簡単に統合できるようにすること。
• 複数の勾配ベースの最適化を逐次適用することで、精度対メモリのトレードオフにおいてパレート最適なモデルを生成できることを示すこと。

提案手法

• PLiNIO は、微分可能アーキテクチャ探索（DARTS スタイル）を用いて、層タイプや構成の粗粒度 NAS を SuperNet を用いて実装しています。
• 細粒度 NAS には、チャネル数などの層固有のハイパーパramータを最適化するための微分可能アーキテクチャ探索（DARTS スタイル）を採用しています。
• 対称的な min-max 量子化と PaCT を用いた動的範囲調整を組み合わせた、微分可能な混合精度探索（MPS）手法を統合しています。
• すべての最適化は、統一された PyTorch 互換 API を通じて公開されており、標準的な学習パイプラインへのシームレスな統合を可能にしています。
• NAS と MPS の逐次適用をサポートしており、性能を維持したまま段階的なモデル圧縮を実現しています。
• PLiNIO の内部設計は拡張可能であり、今後の追加の勾配ベース最適化手法の統合が可能になっています。

Figure 2: SuperNet implementation in PLiNIO.

実験結果

リサーチクエスチョン

• RQ1 統一的で使いやすいライブラリが、エッジデプロイ向けに勾配ベースの DNN 最適化技術の適用を容易にできるでしょうか？
• RQ2 粗粒度 NAS、細粒度 NAS、混合精度量子化の逐次適用は、精度の損失を最小限に抑えつつモデルサイズをどれほど削減できるでしょうか？
• RQ3 勾配ベースの手法が、エッジ関連のタスクにおいて、モデルの精度とメモリ容量のパレート最適なトレードオフをどの程度達成できるでしょうか？
• RQ4 PLiNIO の性能は、ベースラインモデルや個別の最適化手法と比較して、メモリ削減と精度の面でどの程度優れていますか？
• RQ5 PLiNIO は、AutoML や量子化の深い専門知識がなくても、実世界のエッジワークロードに効果的に適用できるでしょうか？

主な発見

• SuperNet の適用に続いて PIT（細粒度 NAS）を適用した結果、ICL ベンチマークでメモリを 74.68% 削減し、精度は 84.93% を維持しました。
• SuperNet、PIT、MPS の逐次的適用により、ICL データセットでメモリ使用量を 302.19 kB から 17.09 kB にまで 94.34% 削減し、精度はわずか 0.92% の低下に抑えられました。
• VWW ベンチマークでは、80–83% の精度範囲に4つの新しいパレート最適なモデルが追加され、設計空間の探索が向上していることが示されました。
• 最も精度の高い量子化モデルでは、元の 84.03% のベースラインと比較して 83.11% の精度を達成し、94.34% のメモリ削減を実現しました。これは 8 ビットの重みと活性化に加え、選択的な 4 ビット精度を採用した結果です。
• 最も小さなパレート最適なモデルに対して MPS を適用した結果、MPS ステップの入力と比較してメモリを 77.66% 削減しましたが、精度は 1.82% 低下しました。
• 各 MPS 最適化エポックは、標準の学習エポックよりも 4.3 倍長くかかりましたが、その結果、顕著な圧縮が達成され、精度の劣化は最小限に抑えられました。

Figure 3: PIT channel-masking implementation in PLiNIO.