[論文レビュー] Energy-efficient Amortized Inference with Cascaded Deep Classifiers

Jiaqi Guan, Yang Liu+2 more|arXiv (Cornell University)|Oct 10, 2017

Advanced Neural Network Applications参考文献 25被引用数 4

ひとこと要約

この論文は、再帰的勾配法で訓練された方策を用いて、正確性とFLOPsコストのバランスを取ることで、各入力画像に対して最小限の十分なニューラルネットワークを動的に選択する、段階的深層分類器フレームワークを提案する。CIFAR-10/100では推論コストを20%未塔に抑え、ImageNet32x32では66%にまで低下させながら、標準のResNetsと同等またはそれ以上の正確性を達成する。

ABSTRACT

Deep neural networks have been remarkable successful in various AI tasks but often cast high computation and energy cost for energy-constrained applications such as mobile sensing. We address this problem by proposing a novel framework that optimizes the prediction accuracy and energy cost simultaneously, thus enabling effective cost-accuracy trade-off at test time. In our framework, each data instance is pushed into a cascade of deep neural networks with increasing sizes, and a selection module is used to sequentially determine when a sufficiently accurate classifier can be used for this data instance. The cascade of neural networks and the selection module are jointly trained in an end-to-end fashion by the REINFORCE algorithm to optimize a trade-off between the computational cost and the predictive accuracy. Our method is able to simultaneously improve the accuracy and efficiency by learning to assign easy instances to fast yet sufficiently accurate classifiers to save computation and energy cost, while assigning harder instances to deeper and more powerful classifiers to ensure satisfiable accuracy. With extensive experiments on several image classification datasets using cascaded ResNet classifiers, we demonstrate that our method outperforms the standard well-trained ResNets in accuracy but only requires less than 20% and 50% FLOPs cost on the CIFAR-10/100 datasets and 66% on the ImageNet dataset, respectively.

研究の動機と目的

• モバイルおよびエッジアプリケーションにおける深層ニューラルネットワークの高いエネルギーおよび計算コストを軽減すること。
• 性能を損なわずに、予測正確性とテスト時の計算コストを同時に最適化すること。
• より簡単なサンプルをより小さなネットワークに、より難しいサンプルをより深いモデルに割り当てる、インスタンス固有の動的モデル選択を可能にすること。
• 段階的分類器と選択方策を同時に最適化するエンドツーエンドで学習可能なフレームワークを開発すること。
• 学習された停止方策により、FLOPsを最小限に抑えつつ高い正確性を維持する、アモアタイズド効率を達成すること。

提案手法

• 能力と正確性が段階的に向上する、より深いResNet分類器の段階的構造を構築する。
• 再帰的勾配法（REINFORCE）を用いて、いつ停止して予測を出力するかを決定する方策ネットワークを訓練する。
• 訓練の目的関数を、予測正確性（報酬）と期待されるFLOPsコスト（制約）のトレードオフとして定式化する。
• 分類器の段階的構造と選択方策をエンドツーエンドで同時に訓練し、正確性-コストのトレードオフを最適化する。
• 信頼度と正確性に基づいた停止条件を満たすまで、段階的構造内の各分類器を順次評価する方策を用いる。
• 推論時に方策を適用し、十分な正確性を達成する最小の分類器に各入力を割り当てる。

実験結果

リサーチクエスチョン

• RQ1 学習された選択方策を備えた段階的アンサンブルによる深層ニューラルネットワークは、標準の深層ネットワークよりも高い正確性と低い計算コストを同時に達成できるか？
• RQ2 強化学習方策は、段階的構造内の最小限の十分な分類器にインプットを動的に割り当てることができるか、その有効性はいかほどか？
• RQ3 提案手法は、挑戦的な画像分類ベンチマークで正確性を維持または向上させつつ、どの程度FLOPsを削減できるか？
• RQ4 データセット間の画像難易度の分布（例：CIFARとImageNet）は、選択方策および計算コストの削減にどの程度影響を与えるか？
• RQ5 分類器と方策を同時に訓練するアプローチは、分類器を固定し、方策のみを学習する簡素化されたベースラインに比べて、より優れた正確性-コストトレードオフを達成できるか？

主な発見

• 提案モデルは、CIFAR-10およびCIFAR-100において、well-trainedなResNet110と同等またはそれ以上のトップ1正確性を達成しているが、FLOPsはそれぞれ19.5%および49.8%にまで低下している。
• ImageNet32x32では、最大の静的ResNetと同等のトップ5正確性を達成しているが、FLOPsは66.22%にまで低下している。
• CIFAR-10およびCIFAR-100の50%以上の画像が最小の分類器に割り当てられており、容易に分類可能なインスタンスの割合が非常に高いことが示された。
• ImageNet32x32においても、ほぼ半数の画像がより小さな分類器に割り当てられており、複雑なデータセットでも容易なサンプルを正しく識別できることが示された。
• 分類器を固定し、方策のみを学習する簡素化されたベースラインに比べて、特にFLOPs予算が低い状況で、共同訓練アプローチが優れた性能を示した。
• 可視化分析により、方策が視覚的に単純な画像（例：銅鑼、アガリクス）を浅い分類器に、複雑な画像（例：陶器のろくろ）をより深いモデルに正しく割り当てていることが確認された。