[論文レビュー] Class Means as an Early Exit Decision Mechanism.

Alperen Görmez, Erdem Koyuncu|arXiv (Cornell University)|Mar 1, 2021

Adversarial Robustness in Machine Learning参考文献 20被引用数 5

ひとこと要約

本論文は、内部分類器の勾配ベース学習を不要にするように、特徴量のクラス平均を用いて早期予測を決定する神経ネットワークのための新規な早期終了メカニズムを提案する。固定の学習予算下でも高い精度を達成し、既存の手法と組み合わせることで、低消費電力エッジデバイスにおける精度と計算量のトレードオフを改善する。

ABSTRACT

State-of-the-art neural networks with early exit mechanisms often need considerable amount of training and fine-tuning to achieve good performance with low computational cost. We propose a novel early exit technique based on the class means of samples. Unlike most existing schemes, our method does not require gradient-based training of internal classifiers. This makes our method particularly useful for neural network training in low-power devices, as in wireless edge networks. In particular, given a fixed training time budget, our scheme achieves higher accuracy as compared to existing early exit mechanisms. Moreover, if there are no limitations on the training time budget, our method can be combined with an existing early exit scheme to boost its performance, achieving a better trade-off between computational cost and network accuracy.

研究の動機と目的

• 神経ネットワークにおける既存の早期終了メカニズムの高いトレーニングおよびファインチューニングコストを解決すること。
• 内部分類器の勾配ベース学習を排除することで、低消費電力エッジデバイスにおける効率的な推論を可能にすること。
• 最先端の早期終了手法と比較して、固定のトレーニング時間予算下での精度を向上させること。
• 既存の早期終了スキームを即座に改善するためのプラグイン型の拡張を提供すること。

提案手法

• トレーニング中に、神経ネットワークの最終層からの特徴量のクラス平均を計算する。
• 推論時、現在の特徴量活性化がクラス平均と比較され、早期終了するかどうかが決定される。
• 決定は、入力特徴量とクラス平均との間の最小距離に基づくもので、追加の学習可能なパラメータを必要としない。
• 任意の事前学習済みネットワークと互換性があり、内部分類器の再学習やファインチューニングを必要としない。
• 既存の早期終了スキームと組み合わせることで、クラス平均を信頼度の代理として用いることで、それらの性能を向上させることができる。

実験結果

リサーチクエスチョン

• RQ1 特徴量のクラス平均を、神経ネットワークにおける早期終了の意思決定メカニズムとして効果的に使用できるか？
• RQ2 内部分類器の勾配ベース学習を排除することで、低消費電力デバイスにおける効率性とパフォーマンスが向上するか？
• RQ3 固定のトレーニング時間予算下で、本手法は既存の早期終了技術と比較してどのように性能を発揮するか？
• RQ4 本手法は、既存の早期終了スキームを精度および計算効率の面で向上させることができるか？

主な発見

• 本手法は、固定のトレーニング時間予算下で、既存の早期終了メカニズムよりも高い精度を達成する。
• 内部分類器の勾配ベース学習の必要性がなくなることで、計算コストとトレーニングのオーバーヘッドが低減される。
• その軽量な推論メカニズムのおかげで、特に低消費電力エッジ環境において顕著に効果的である。
• 既存の早期終了スキームと組み合わせた場合、精度と計算量のトレードオフが向上し、より優れたパフォーマンスを提供する。