[論文レビュー] Adaptive Inference through Early-Exit Networks: Design, Challenges and Directions

Stefanos Laskaridis, Alexandros Kouris+1 more|arXiv (Cornell University)|Jun 9, 2021

Advanced Neural Network Applications参考文献 82被引用数 13

ひとこと要約

本論文は、入力の難易度や信頼度に基づいて複数の深さで予測を行うことができる、適応的推論の一種であるエアリー・エグジットネットワークの包括的サーベイを提示している。適切に配置された分類器（エグジット）と動的エグジット方針を用いることで、精度を損なわず推論遅延と計算量を削減でき、特にモバイルおよびエッジデバイスにおいて有益である。

ABSTRACT

DNNs are becoming less and less over-parametrised due to recent advances in efficient model design, through careful hand-crafted or NAS-based methods. Relying on the fact that not all inputs require the same amount of computation to yield a confident prediction, adaptive inference is gaining attention as a prominent approach for pushing the limits of efficient deployment. Particularly, early-exit networks comprise an emerging direction for tailoring the computation depth of each input sample at runtime, offering complementary performance gains to other efficiency optimisations. In this paper, we decompose the design methodology of early-exit networks to its key components and survey the recent advances in each one of them. We also position early-exiting against other efficient inference solutions and provide our insights on the current challenges and most promising future directions for research in the field.

研究の動機と目的

• エグジット配置、アーキテクチャ、トレーニング戦略を含む、エアリー・エグジットネットワークの設計空間を分析すること。
• 推論オーバーヘッド、勾配の衝突、信頼度のキャリブレーションといった、エアリー・エグジットネットワークのデプロイメントにおける主な課題を特定すること。
• 時間的認識、階層的推論、パーソナライゼーション、フェデレーテッド学習および確率的学習との統合を含む、今後の研究方向性を探索すること。
• モデルの prune、量子化、知識蒸留と並行する補完的な効率化技術としてエアリー・エグジットを位置づけること。
• トレーニングとランタイム設定を分離することで、'一度トレーニングして、どこにでもデプロイ可能'な展開を可能にすること。

提案手法

• バックボーンDNNの異なる深さに複数の分類器ヘッド（エグジット）を設けることで、エアリー・エグジットネットワークを設計すること。
• 実行時エグジット方針を用い、予測の信頼度または不確実性に基づいて、信頼度閾値を満たす最初のエグジットを選択すること。
• すべてのエグジットを同時に最適化するための共同トレーニング戦略を用い、全エグジットヘッドにおける精度のバランスをとること。
• トレーニング後、新しいデータ分布に適応させるために、知識蒸留または自己蒸留を適用してエアリー・エグジットを調整すること。
• NASベースの探索または構造的探索を用いて、エグジット数、配置、アーキテクチャを同時に最適化すること。
• 確率的推論（例：ベイジアンニューラルネットワーク）を統合し、不確実性をよりよく定量化し、エグジット意思決定を支援すること。

実験結果

リサーチクエスチョン

• RQ1 計算オーバーヘッドを最小限に抑えつつ、精度とスループットの向上を最大化するエアリー・エグジットネットワークの設計法は何か？
• RQ2 浅いエグジットと深いエグジットの間で勾配の衝突を効果的にバランスさせるトレーニング戦略は何か？ その際、性能が低下しないようにするには？
• RQ3 デバイス制約、入力の難易度、ランタイム要件に適応可能なエグジット方針はどのように設計できるか？
• RQ4 順次入力における時間的または空間的相関は、エアリー・エグジット意思決定をどのように改善できるか？
• RQ5 エアリー・エグジットネットワークは、パーソナライゼーション、フェデレーテッドラーニング、または階層的分類をサポートするためにどのように拡張できるか？

主な発見

• エアリー・エグジットネットワークは、簡単な入力では最大2〜3倍の高速化を達成でき、難易度の高いサンプルに対しても高い精度を維持できる。
• 信頼度に基づくエグジット方針を用いた複数エグジットの共同トレーニングは、個別にトレーニングするよりも一般化性能が優れている。
• 不適切なエグジット配置や方針設計は、特に初期エグジットが信頼度を満たさない場合に顕著なオーバーヘッドを引き起こす可能性がある。
• 予測の信頼度のキャリブレーションは極めて重要である。現在の手法はしばしばモデルの不確実性を正しく表現せず、最適でないエグジット意思決定を招く。
• 将来的な方向性としての階層的推論や時間的認識は、動画や順次タスクにおける効率性をさらに向上させうる。
• ベイジアンニューラルネットワークのような確率的モデルは、不確実性を意識したエアリー・エグジットを自然にサポートし、耐障害性の高いデプロイメントへの有望な道筋を提供する。