[論文レビュー] Design Automation for Efficient Deep Learning Computing

Song Han, Han Cai+5 more|arXiv (Cornell University)|Apr 24, 2019

Advanced Neural Network Applications参考文献 15被引用数 16

ひとこと要約

本論文は、強化学習を用いてハードウェアに最適化された効率的なディープニューラルネットワークの設計を自動化する、ハードウェア中心のAutoMLフレームワークを提案する。この手法により、ニューラルアーキテクチャの自動専用化、チャネルプルーニング、ミックスド・プレシジョン量子化が可能となり、設計時間を200倍短縮し、ルールベースの人的設計に比べて優れた推論速度とエネルギー効率を達成する。モバイルデバイスでは1.8倍高速な推論を実現し、エッジアクセラレータでは1.95倍のレイテンシ削減を達成した。

ABSTRACT

Efficient deep learning computing requires algorithm and hardware co-design to enable specialization: we usually need to change the algorithm to reduce memory footprint and improve energy efficiency. However, the extra degree of freedom from the algorithm makes the design space much larger: it's not only about designing the hardware but also about how to tweak the algorithm to best fit the hardware. Human engineers can hardly exhaust the design space by heuristics. It's labor consuming and sub-optimal. We propose design automation techniques for efficient neural networks. We investigate automatically designing specialized fast models, auto channel pruning, and auto mixed-precision quantization. We demonstrate such learning-based, automated design achieves superior performance and efficiency than rule-based human design. Moreover, we shorten the design cycle by 200x than previous work, so that we can afford to design specialized neural network models for different hardware platforms.

研究の動機と目的

• 効率的なディープラーニングモデル設計における巨大で非構造的な設計空間の課題に対処する。アルゴリズムとハードウェアの共同設計が不可欠であるが、手動での探索は困難である。
• モデル圧縮や量子化におけるルールベースのヒューリスティクスの限界を克服する。これらは熟練した専門知識を必要とし、多様なハードウェアプラットフォームでは最適でない。
• レイテンシ、エネルギー、メモリフットプリントの観点から、ハードウェアに特化したニューラルネットワークの体系的かつ自動化された設計を可能にする。
• 手動チューニングを学習ベースで再利用可能な自動化パイプラインに置き換えることで、効率的なモデル設計のコストと時間を削減する。

提案手法

• ハードウェアシミュレータからのフィードバックを活用し、強化学習（RL）を用いてニューラルアーキテクチャ、チャネルプルーニング、ミックスド・プレシジョン量子化を同時に最適化する。
• ニューラルアーキテクチャ探索の探索コストを2桁低減するため、パスレベルのプルーニングとパスレベルのバイナリゼーションを導入し、ImageNet上での効率的な探索を可能にする。
• 学習可能なアーキテクチャパラメータ（例：パス確率）を用いて、CNNブロックの微分可能探索空間を設計することで、モデル構造の勾配ベース最適化を可能にする。
• ハードウェア制約（レイテンシ、エネルギー、メモリ）に基づき、各レイヤーに動的にビット幅を割り当てるハードウェア対応量子化（HAQ）フレームワークを実装し、リソース予算下でのパフォーマンス最適化にRLを活用する。
• ルーフラインモデルを用いて設計意思決定を解釈し、ターゲットハードウェアの演算強度とメモリ帯域幅特性に基づいてビット幅割り当てをガイドする。
• 1つのネットワーク（例：MobileNet-V1）で訓練したRLポリシーを別のネットワーク（例：MobileNet-V2）に転移させ、最小限の再トレーニングで迅速な新モデルへのデプロイを実現する。

実験結果

リサーチクエスチョン

• RQ1 多様なハードウェアプラットフォーム向けに、効率的なディープラーニングモデルを構築する際、自動化された学習ベースの設計は、ルールベースのヒューリスティクスを上回ることができるか？
• RQ2 ニューラルアーキテクチャ、プルーニング、量子化の設計空間を、スケールアップして効率的に探索し、ハードウェアに最適化された最適化を達成するにはどうすればよいか？
• RQ3 1つのRLエージェントが、異なるニューラルネットワークアーキテクチャ間で学習した量子化ポリシーをどの程度一般化できるか？
• RQ4 エッジデバイスとクラウドアクセラレータでは、最適な量子化ポリシーにどのような差が生じるか？ハードウェアフィードバックは、より良い設計意思決定を導くことができるか？
• RQ5 自動化設計により、設計サイクル時間を桁違いに短縮できるか？また、モデル効率を維持または向上させながら実現できるか？

主な発見

• 提案された自動設計フレームワークは、先行研究と比較して設計サイクルを200倍以上短縮し、ハードウェアに特化したモデルの迅速な探索を可能にした。
• モバイルデバイス上で自動探索されたモデルは、最良の人為設計モデルよりも1.8倍高速に動作し、優れた効率性を示した。
• 自動化されたチャネルプルーニングパイプラインは、Android端末で1.81倍の推論レイテンシの高速化、Titan XP GPUでは1.43倍の高速化を達成し、ImageNetでは0.1%の精度低下にとどまった。
• ハードウェア対応量子化（HAQ）により、固定8ビット量子化と比較してレイテンシが1.4～1.95倍低減し、エネルギー消費は1.9倍削減されたが、精度損失は無視できる程度であった。
• RLエージェントの量子化ポリシーは良好に一般化された：MobileNet-V1からMobileNet-V2へのポリシー転送により、直接新しいアーキテクチャを探索した場合と比較して1%以内の性能差にとどまった。
• ルーフラインモデルの分析から、エッジデバイスでは高メモリアクセスレイヤー（例：ディープワイドコンボリューション）に対して低いビット幅が好ましいことが判明したのに対し、クラウドアクセラレータでは、より高いメモリ帯域幅を有するため、同様のレイヤーに対してはより高いビット幅を許容できることが明らかになった。