[論文レビュー] Sacrificing Accuracy for Reduced Computation: Cascaded Inference Based on Softmax Confidence.

Konstantin Berestizshevsky, Guy Even|arXiv (Cornell University)|May 28, 2018

Adversarial Robustness in Machine Learning参考文献 3被引用数 6

ひとこと要約

本論文では、中間の深層ニューラルネットワーク層からのソフトマックス信頼度スコアを用いて推論中に計算コストを動的に調整する段階的推論手法を提案する。信頼度に基づいた早期終了を採用することで、わずかな精度損失（SVHNでは1.4％）で最大2.16倍の高速化を達成し、再訓練を必要とせずに実行時における速度と精度のトレードオフを柔軟に制御できる。

ABSTRACT

We study the tradeoff between computational effort and accuracy in a cascade of deep neural networks. During inference, early termination in the cascade is controlled by confidence levels derived directly from the softmax outputs of intermediate classifiers. The advantage of early termination is that classification is performed using less computation, thus adjusting the computational effort to the complexity of the input. Moreover, dynamic modification of confidence thresholds allow one to trade accuracy for computational effort without requiring retraining. Basing of early termination on softmax classifier outputs is justified by experimentation that demonstrates an almost linear relation between confidence levels in intermediate classifiers and accuracy. Our experimentation with architectures based on ResNet obtained the following results. (i) A speedup of 1.5 that sacrifices 1.4% accuracy with respect to the CIFAR-10 test set. (ii) A speedup of 1.19 that sacrifices 0.7% accuracy with respect to the CIFAR-100 test set. (iii) A speedup of 2.16 that sacrifices 1.4% accuracy with respect to the SVHN test set.

研究の動機と目的

• 深層ニューラルネットワーク推論における計算効率とモデル精度のトレードオフを解決すること。
• 再訓練を必要とせずに、入力ごとの計算負荷を動的に調整できるようにすること。
• 中間層からの信頼度スコアに基づいて、分類器の段階的チェーンにおける早期終了を可能にするメカニズムを開発すること。
• ソフトマックス信頼度が予測精度と強く相関していることを検証し、停止基準としての妥当性を裏付けること。

提案手法

• 本手法は、各々がソフトマックス確率出力を生成する深層ニューラルネットワーク分類器の段階的チェーンを採用する。
• 中間分類器の出力の信頼度が動的に調整可能なしきい値を超えると、早期終了がトリガーされる。
• 信頼度しきい値は推論時に調整され、速度と精度のバランスを取る。これにより、再訓練なしに実行時におけるトレードオフを実現できる。
• 中間分類器の信頼度スコアが予測精度とほぼ線形に相関することが実証的に示され、信頼性の代理指標としての使用が裏付けられる。
• 本手法はCIFAR-10、CIFAR-100、SVHNのデータセットにわたってResNetベースのアーキテクチャに適用されている。
• 本システムは、デプロイ後における望ましいスピード・アキュラシー・トレードオフを達成するために、動的しきい値調整をサポートする。

実験結果

リサーチクエスチョン

• RQ1 中間ネットワーク層からのソフトマックス信頼度スコアは、分類精度を信頼性高く予測し、早期終了の根拠として適切か？
• RQ2 早期終了によって計算効率をどの程度向上できるか、かつ顕著な精度損失なしに？
• RQ3 モデルの再訓練なしに、推論時に速度と精度のトレードオフを動的に調整できるか？
• RQ4 異なるデータセットにおいて、中間のソフトマックス信頼度と最終精度との相関関係はどのように変化するか？
• RQ5 実際の応用において、本手法により達成可能な高速化とそれに伴う精度のトレードオフはどのようなものか？

主な発見

• CIFAR-10データセットでは、完全モデルと比較して1.5倍の高速化を達成しながら、精度はわずか1.4％低下した。
• CIFAR-100では、1.19倍の高速化が達成され、精度は0.7％低下した。
• SVHNでは、最大2.16倍の高速化が得られ、精度は1.4％低下した。
• 中間のソフトマックス信頼度と最終予測精度との間にはほぼ線形の相関関係が確認され、信頼度を停止基準として用いる妥当性が裏付けられた。
• 信頼度しきい値のチューニングにより、再訓練なしに実行時におけるスピード・アキュラシー・トレードオフを調整可能である。
• 本手法は多様なデータセットで優れた性能を維持しており、信頼度に基づく早期終了メカニズムの一般化可能性が示された。