[論文レビュー] IDK Cascades: Fast Deep Learning by Learning not to Overthink

Xin Wang, Yujia Luo+4 more|arXiv (Cornell University)|Jun 3, 2017

Anomaly Detection Techniques and Applications参考文献 19被引用数 30

ひとこと要約

この論文では、容易な入力を高速モデルにルーティングし、難易度の高い入力のみをより正確で高コストなモデルにスケールアップするようにする、軽量な「知らない（I Don’t Know: IDK）」分類器を用いた、深層学習推論を高速化するフレームワーク「IDKカスケード」を提案する。エントロピーまたは信頼度スコアによるモデルの不確実性を活用し、コストに配慮した目的関数を最適化することで、精度の損失を最小限に抑えつつ推論コストを最大80％削減でき、自動運転では30％未満の人的介入でほぼ完璧な精度を達成する。

ABSTRACT

Advances in deep learning have led to substantial increases in prediction accuracy but have been accompanied by increases in the cost of rendering predictions. We conjecture that fora majority of real-world inputs, the recent advances in deep learning have created models that effectively "overthink" on simple inputs. In this paper, we revisit the classic question of building model cascades that primarily leverage class asymmetry to reduce cost. We introduce the "I Don't Know"(IDK) prediction cascades framework, a general framework to systematically compose a set of pre-trained models to accelerate inference without a loss in prediction accuracy. We propose two search based methods for constructing cascades as well as a new cost-aware objective within this framework. The proposed IDK cascade framework can be easily adopted in the existing model serving systems without additional model re-training. We evaluate the proposed techniques on a range of benchmarks to demonstrate the effectiveness of the proposed framework.

研究の動機と目的

• 高い精度を示すが、単純な入力まで過剰に分析してしまう深層学習モデルにおける推論コストの増大に対処するため。
• ベースモデルの再訓練やアーキテクチャの変更なしに、効率的なモデルカスケードを実現するフレームワークを開発すること。
• 事前学習済みモデルと最小限の追加計算のみを用いて、容易な入力と難しい入力を識別するコスト効率の良い方法を特定すること。
• 新規のコストに配慮した目的関数を用いて、予測精度と計算コストのバランスを最適化するカスケード構造を最適化すること。

提案手法

• 各段階で「知らない（IDK）」を予測することで、事前学習済みモデルをカスケード構造に組み合わせる汎用的なフレームワーク「IDKカスケード」を導入する。
• アーキテクチャに依存しない軽量なIDK分類器を採用し、予測の信頼度（確率によるカスケード）またはクラス確率のエントロピー（エントロピーによるカスケード）を用いて不確実性を推定する。
• 全体のコストを最小化しつつ精度を維持するように、各カスケード段階におけるIDK予測の最適な不確実性閾値を探索的アプローチで特定する。
• ベースモデルの実際のFLOPsを組み込んだコストに配慮した目的関数を提案し、IDK分類器の学習時に精度と計算コストのバランスを最適化する。
• エッジデバイスに高速モデルを配置し、必要に応じてクラウドに高コストモデルを起動するエッジ・クラウドアーキテクチャに対応して展開を可能にする。
• 最終段階に人的専門家を配置することで、人間によるフィードバックを統合した「人間を含むループ」の展開を可能にし、最小限の介入でほぼ完璧な精度を達成する。

実験結果

リサーチクエスチョン

• RQ1 再訓練やモデルアーキテクチャへのアクセスなしに、実世界の深層学習ワークロードで容易な入力を効果的に特定できるか？
• RQ2 多様な入力に対して高い予測精度を維持しつつ、計算コストを最小限に抑えるカスケードシステムをどのように設計できるか？
• RQ3 入力をモデルカスケードにルーティングする際に、信頼度スコアとエントロピーのどちらが最適な不確実性指標か？
• RQ4 目的関数に実際のFLOPsを組み込むことで、精度最適化に比べてモデルカスケードの効率がどのように向上するか？
• RQ5 IDKカスケードフレームワークは、最小限の変更で自動運転のような実世界システムに展開可能で、高いパフォーマンスを発揮できるか？

主な発見

• IDKカスケードフレームワークは、ベースラインモデルと比較して、高コストなモデルの呼び出し回数を最大80％削減しながら、精度を維持またはわずかに向上させる。
• ImageNetデータセットでは、標準的な推論と比較して推論コストを70％削減しながらも、トップ1精度95％を維持した。
• Berkeley DeepDriveデータセットを用いた自動運転タスクでは、95.1％の精度を達成し、人的介入率は28.88％にまで低下させ、手動ラベルのコストを顕著に削減した。
• コストに配慮した目的関数は、不確実性に基づく目的関数を上回り、特に高スループット環境下で精度と計算コストのバランスをより効果的に最適化する。
• エントロピーによるカスケードは、確率によるカスケードよりも、特にモデルの確率が適切にキャリブレーションされている場合に、難易度の高いサンプルをより効果的に特定する。
• 最小限の変更で既存のモデルサービングシステムに統合可能であり、エッジ・クラウドの展開パターンに自然に適合する。