[論文レビュー] Resource-Efficient Deep Learning: A Survey on Model-, Arithmetic-, and Implementation-Level Techniques

Junkyu Lee, Lev Mukhanov+7 more|arXiv (Cornell University)|Dec 30, 2021

Machine Learning and Data Classification参考文献 169被引用数 10

ひとこと要約

本調査では、パラメータ、演算、メモリ、エネルギーのあらゆる面での効率性を向上させるために、リソース効率の良いディープラーニング技術を3段階の分類体系として提示している。この分類体系は、モデルレベル（例：プルーニング、知識蒸留）、算術レベル（例：量子化、低精度算術）、実装レベル（例：ハードウェアに配慮した最適化、メモリ階層チューニング）からなる。統一されたメトリクスフレームワークを確立し、リソース単位あたりの精度を重視することで、制限されたデバイス上で最適なパフォーマンスを達成するためには、3段階すべての最適化を統合的に行う必要があることが強調されている。

ABSTRACT

Deep learning is pervasive in our daily life, including self-driving cars, virtual assistants, social network services, healthcare services, face recognition, etc. However, deep neural networks demand substantial compute resources during training and inference. The machine learning community has mainly focused on model-level optimizations such as architectural compression of deep learning models, while the system community has focused on implementation-level optimization. In between, various arithmetic-level optimization techniques have been proposed in the arithmetic community. This article provides a survey on resource-efficient deep learning techniques in terms of model-, arithmetic-, and implementation-level techniques and identifies the research gaps for resource-efficient deep learning techniques across the three different level techniques. Our survey clarifies the influence from higher to lower-level techniques based on our resource-efficiency metric definition and discusses the future trend for resource-efficient deep learning research.

研究の動機と目的

• モデル、算術、実装の3つの抽象レベルにおけるリソース効率の良いディープラーニング技術を統一的かつ包括的に調査すること。
• 公平な比較が可能な一貫性のあるリソース効率メトリクス（例：パラメータあたりの精度、演算あたりの精度、メモリ、ジュール）を定義・適用すること。
• モデルレベル、算術レベル、実装レベルの最適化戦略の間の研究ギャップと相乗効果を特定すること。
• エッジおよびモバイルデバイスにおける物理的リソース効率を最適化するためには、3段階すべての最適化を統合的に行う必要があることを強調すること。
• モデルの複雑さ、精度、ハードウェアに配慮したデプロイメントを結びつけることで、今後のDNN設計の効率化を導くこと。

提案手法

• リソース効率の良い技術を3段階に分類する：モデルレベル（例：プルーニング、知識蒸留）、算術レベル（例：量子化、低精度算術）、実装レベル（例：メモリ最適化、データフローのチューニング）。
• パラメータあたりの精度、演算あたりの精度、メモリフットプリント、コア利用度、メモリアクセス、エネルギー（ジュール）を含む多次元のリソース効率メトリクスを定義する。
• 同等の精度を保証する条件下で、ベースラインと最適化済みモデルの間で公平な比較が行えるように、メトリクスを用いて技術を評価・比較する。
• 上位レベルの最適化（モデルおよび算術）が下位レベルの効率性に与える影響と、その逆の影響を分析し、相互依存関係を明確にする。
• 各カテゴリにおける最先端技術を調査し、エッジAI向けに注目が集まっている新興トレンド（例：神経形状コンピューティング、スプリット学習）も含める。
• モデル圧縮とハードウェアに配慮した実装の共同設計の重要性を強調し、モデルサイズの削減にもかかわらずパフォーマンスの低下を回避する。

実験結果

リサーチクエスチョン

• RQ1 モデルレベル、算術レベル、実装レベルの技術が、ディープニューラルネットワークにおけるリソース効率をどのように統合的に向上させるか？
• RQ2 リソース効率の公平な比較に適した主要なメトリクスは何か？ そして、異なる最適化技術間で標準化するにはどうすればよいか？
• RQ3 なぜモデルレベルの最適化が、実際のハードウェア上で物理的効率の向上をもたらさないことがあるのか？ その原因をどのように軽減できるか？
• RQ4 帯域幅とエネルギーが制限された分散型およびエッジAIワークロードにリソース効率の良い技術を適応させる上での未解決の課題は何か？
• RQ5 今後の研究は、ニューラルアーキテクチャサーチ（NAS）をモデル、算術、実装レベルの最適化と統合することで、最適な効率性を達成できるか？

主な発見

• プルーニングや知識蒸留などのモデルレベル技術は、抽象的なリソース効率（例：パラメータあたりの精度）を向上させるが、併せて実装レベルの最適化が行われない限り、実行時のリソース使用量の削減にはつながりにくい。
• 量子化や低精度算術などの算術レベル技術は、演算あたりのメモリフットプリントとエネルギー消費を直接削減することで、物理的リソース効率を高める。
• オンチップメモリ配置やデータフロー再編成などの実装レベル最適化は、モデルおよび算術技術と組み合わせることで、ジュールあたりの精度およびコア利用度を顕著に向上させる。
• 本調査では、深刻な研究ギャップが特定された：多くのモデル圧縮ネットワークは、実際にはメモリアクセスや計算オーバーヘッドが増加するため、性能が低下する傾向がある。これにより、共同設計の必要性が強調された。
• 神経形状コンピューティングやスプリット学習（例：エンコーディング/デコーディングのオフロード）は、超低消費電力エッジ推論のための有望な方向性として浮上している。
• ロットリー・チケット仮説とバイアス・バリアンスのトレードオフは、モデルレベルの圧縮の背後にある理論的根拠であり、与えられたデータと複雑さの制約下で最小限で十分なモデルサイズが最適一般化を実現すると示唆している。