[論文レビュー] HAKD: Hardware Aware Knowledge Distillation.

Jack Turner, Elliot J. Crowley+4 more|arXiv (Cornell University)|Oct 24, 2018

Advanced Neural Network Applications参考文献 17被引用数 2

ひとこと要約

HAKDは、残差接続および密接続アーキテクチャ向けに、チャネル感受性指標と実測実行時間測定値を組み合わせたハードウェアに配慮した知識蒸留法を提案する。多様なハードウェア上で精度と遅延の両方を最適化することで、同じ推論時間内にチャネルプルーニングモデルよりも最大10%高いImageNetトップ-1精度を達成する。

ABSTRACT

The task of accelerating large neural networks on general purpose hardware has, in recent years, prompted the use of channel pruning to reduce network size. However, the efficacy of pruning based approaches has since been called into question. In this paper, we turn to distillation for model compression---specifically, attention transfer---and develop a simple method for discovering performance enhanced student networks. We combine channel saliency metrics with empirical observations of runtime performance to design more accurate networks for a given latency budget. We apply our methodology to residual and densely-connected networks, and show that we are able to find resource-efficient student networks on different hardware platforms while maintaining very high accuracy. These performance-enhanced student networks achieve up to 10% boosts in top-1 ImageNet accuracy over their channel-pruned counterparts for the same inference time.

研究の動機と目的

• 一般用途のハードウェア上で大規模ニューラルネットワークを高速化するためのチャネルプルーニングの限界を解消すること。
• プルーニングではなく、知識蒸留による注目度転送を活用してモデル圧縮を改善すること。
• 厳密な遅延制約下でも高い精度を維持するリソース効率の良い学生ネットワークを発見すること。
• 感受性指標と実測実行時間データを組み合わせることで、異なるハードウェアプラットフォームに適応する手法を開発すること。

提案手法

• 本手法は、教師ネットワークにおける重要なチャネルを特定するためのチャネル感受性指標を用いる。
• ターゲットハードウェアでの実測実行時間測定値を組み込み、効率的な学生アーキテクチャの探索を支援する。
• 蒸留の過程で、モデルの精度と推論遅延の両方を同時に最適化する。
• 学生ネットワークは、教師の中間特徴から注目度蒸留を用いて知識を転送することで訓練される。
• フレームワークは、残差接続および密接続ネットワークアーキテクチャの両方へ適用可能である。
• 最終的な学生モデルは、特定のハードウェアプラットフォーム上で所定の遅延予算内でのパフォーマンスに基づいて選別される。

実験結果

リサーチクエスチョン

• RQ1 一般用途のハードウェア上で、知識蒸留はチャネルプルーニングを上回る高精度・低遅延ニューラルネットワークを達成できるか？
• RQ2 ハードウェア固有の実行時間特性を蒸留プロセスに統合することで、効率性を向上させられるか？
• RQ3 プルーニングベースの手法と比較して、固定推論遅延内での注目度転送による精度向上はどの程度達成可能か？
• RQ4 統一されたフレームワークは、多様なハードウェアプラットフォーム上で効率的な学生ネットワークを発見できるか？

主な発見

• HAKDは、同じ推論時間内にチャネルプルーニングモデルよりも最大10%高いImageNetトップ-1精度を達成する学生ネットワークを発見する。
• 本手法は、同一の遅延制約下で残差接続および密接続ネットワークアーキテクチャの両方で精度を向上させる。
• ハードウェアに配慮した実行時間測定値は、蒸留モデルの精度-効率トレードオフを顕著に改善する。
• 本手法は異なるハードウェアプラットフォームに一般化可能であり、一貫したパフォーマンス向上を示す。
• 注目度蒸留と感受性誘導によるチャネル選択を組み合わせることで、単なるプルーニングよりも精度が高く効率的な学生ネットワークが得られる。
• 実測実行時間データにより、モデル設計と実際のハードウェアパフォーマンスとの整合性が向上し、実世界の推論効率が向上する。