[論文レビュー] Adaptive Neural Networks for Efficient Inference

Tolga Bolukbasi, Joseph Wang+2 more|arXiv (Cornell University)|Feb 25, 2017

Machine Learning and Data Classification参考文献 4被引用数 134

ひとこと要約

本論文は適応的な早期退出と適応的なネットワーク選択を提案し、易しいケースを安価なモデルや早期退出を経由させることでImageNetで最大2.8倍の速度向上を達成します。計算を最小限の精度損失で削減します。

ABSTRACT

We present an approach to adaptively utilize deep neural networks in order to reduce the evaluation time on new examples without loss of accuracy. Rather than attempting to redesign or approximate existing networks, we propose two schemes that adaptively utilize networks. We first pose an adaptive network evaluation scheme, where we learn a system to adaptively choose the components of a deep network to be evaluated for each example. By allowing examples correctly classified using early layers of the system to exit, we avoid the computational time associated with full evaluation of the network. We extend this to learn a network selection system that adaptively selects the network to be evaluated for each example. We show that computational time can be dramatically reduced by exploiting the fact that many examples can be correctly classified using relatively efficient networks and that complex, computationally costly networks are only necessary for a small fraction of examples. We pose a global objective for learning an adaptive early exit or network selection policy and solve it by reducing the policy learning problem to a layer-by-layer weighted binary classification problem. Empirically, these approaches yield dramatic reductions in computational cost, with up to a 2.8x speedup on state-of-the-art networks from the ImageNet image recognition challenge with minimal (<1%) loss of top5 accuracy.

研究の動機と目的

• 精度を損なうことなく深層ニューラルネットワークのテスト時コストを削減する動機付け。
• 2つの適応スキームを開発: (1) ネットワーク内での早期退出, (2) コストが異なる複数のネットワーク間の適応的選択。
• 計算時間と精度のバランスをとるグローバルリスク目的関数を定式化し、層ごとの加重二値分類で解く。
• 事前学習済みモデルを用いてImageNetで実行時間の大幅な削減を示しつつ、トップ-5精度を厳密な余裕内に維持する。

提案手法

• 各層の後に現在の予測で退出するか次の層へ進むかを決定する適応的早期退出ポリシーを定義する。
• グローバル目的を時間と精度のトレードオフとして表現し、ポリシー学習を層ごとの加重二値分類へと還元する。
• エンタロピーに基づく信頼度特徴量を含む、定数型または線形ポリシーファミリを含む退出機能のボトムアップ系列を訓練する。
• カスケード/グラフに配置された複数の事前学習モデル間の適応的ネットワーク選択へ拡張し、より高価なネットワークへ進むか否かを決定するポリシー。
• 時間制約と精度損失ペナルティの下で、退出/選択決定を最適化する重要度付き学習の定式化を使用する。

実験結果

リサーチクエスチョン

• RQ1 中間層からの早期退出は推論時間を短縮しつつ精度を維持できるか？
• RQ2 複数モデルにまたがるネットワーク選択戦略は、単一モデルの早期退出より大きなスピードアップをもたらすか？
• RQ3 適応ポリシーは、実際のインスタンスの難易度と誤りを真に知るオラクルにどれだけ近づくか？
• RQ4 標準アーキテクチャに適応ポリシーを適用した場合のImageNet風の物体認識への実用的影響は？

主な発見

• 適応的早期退出によりGoogLeNetとResNet-50を20-30%高速化し、トップ-5精度の損失は最小限に抑えられる。
• 複数モデルからなるネットワークカスケードは、トップ-5精度損失1%で最大2.8x、精度変化なしで1.9xの高速化を達成。
• エンタロピーに基づく信頼度特徴を用いて訓練されたポリシーは、さまざまな予算設定でオラクルに近い性能を示す。
• このアプローチはエッジ/クラウド/フォグ計算の展開と互換性があり、基盤となるネットワークアーキテクチャの変更を必要としない。