[論文レビュー] Adaptive Ensemble Prediction for Deep Neural Networks based on Confidence Level

Hiroshi Inoue|arXiv (Cornell University)|Feb 27, 2017

Explainable Artificial Intelligence (XAI)被引用数 10

ひとこと要約

この論文は、予測の信頼度に基づいて動的にアンサンブルを停止する、深層ニューラルネットワーク向けの適応的アンサンブル予測手法を提案する。推論コストを削減しながらも、精度を損なわず、静的アンサンブルと同等の精度を達成する。統計的に厳密な信頼度しきい値を用いることで、単純な早期終了手法を上回り、顕著に低い計算負荷で実現する。

ABSTRACT

Ensembling multiple predictions is a widely used technique for improving the accuracy of various machine learning tasks. One obvious drawback of ensembling is its higher execution cost during inference. In this paper, we first describe our insights on the relationship between the probability of prediction and the effect of ensembling with current deep neural networks; ensembling does not help mispredictions for inputs predicted with a high probability even when there is a non-negligible number of mispredicted inputs. This finding motivated us to develop a way to adaptively control the ensembling. If the prediction for an input reaches a high enough probability, i.e., the output from the softmax function, on the basis of the confidence level, we stop ensembling for this input to avoid wasting computation power. We evaluated the adaptive ensembling by using various datasets and showed that it reduces the computation cost significantly while achieving accuracy similar to that of static ensembling using a pre-defined number of local predictions. We also show that our statistically rigorous confidence-level-based early-exit condition reduces the burden of task-dependent threshold tuning better compared with naive early exit based on a pre-defined threshold in addition to yielding a better accuracy with the same cost.

研究の動機と目的

• 深層ニューラルネットワークにおけるアンサンブル手法の高い推論コストに対処すること。
• 高信頼度の予測が追加のアンサンブルから利益を得るかどうかを調査すること。
• 計算量を削減しながら精度を損なわない、信頼度レベルに基づく早期終了メカニズムを開発すること。
• ヒューリスティックなしきい値に代えて統計的に根拠のある基準を用いることで、タスク固有のハイパーパrameterチューニングを最小限に抑えること。
• 静的アンサンブルと同等の推論効率を達成しつつ、入力ごとの予測回数を減らすこと。

提案手法

• 各予測の信頼度指標として、ソフトマックス出力確率を用いる。
• 統計的に導出された信頼度しきい値を用いて、特定の入力に対してアンサンブルをいつ停止するかを決定する。
• 予測の信頼度がしきい値未満の場合にのみアンサンブルを継続し、余分な計算を回避する。
• しきい値は、予測の信頼性と不確実性の統計的分析から導出される。
• 固定された推定器数ではなく、信頼度に基づいて入力ごとに動的に計算量を調整する。
• 早期終了を推論パイプラインに統合し、可変長の前方伝搬を可能にする。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークが高信頼度と判断した入力に対して、アンサンブルが予測を改善するのか？
• RQ2 信頼度レベルに基づく早期終了戦略は、計算コストを削減しながらも精度を維持できるのか？
• RQ3 ヒューリスティックなしきい値と比較して、統計的に根拠のあるしきい値は早期終了性能において優れているのか？
• RQ4 適応的アンサンブルは、モデルの精度を劣化させることなく、どれほど推論時間を短縮できるのか？
• RQ5 この手法は、早期終了システムにおけるタスク固有のハイパーパrameterチューニングの必要性をどれほど軽減できるのか？

主な発見

• 静的アンサンブルと同等の精度を維持しながら、推論計算コストを顕著に削減した。
• 高信頼度で予測された入力に対しては、アンサンブルによる利益はほとんどないことが判明し、早期終了の必要性が裏付けられた。
• 統計的に導出された信頼度しきい値は、単純なしきい値ベースの早期終了と比較して、精度とハイパーパrameter選択へのロバストネスの両面で優れている。
• 同じ計算コストにおいて、ベースラインの早期終了手法よりも高い精度を達成した。
• 原理的で統計的な基準に依存することで、タスク固有のしきい値チューニングの負担を軽減した。
• 複数のデータセットでの評価により、異なるネットワークアーキテクチャにおいて一貫した効率性と精度の向上が確認された。