[論文レビュー] EBJR: Energy-Based Joint Reasoning for Adaptive Inference

Mohammad Kazem Akbari, Amin Banitalebi-Dehkordi+1 more|arXiv (Cornell University)|Oct 20, 2021

Advanced Neural Network Applications参考文献 48被引用数 4

ひとこと要約

EBJRは、再訓練を伴わずに入力を軽量な学生モデルと大規模な事前学習済み教師モデルの間で適応的にルーティングするエネルギーベースの共同推論フレームワークを提案する。これにより、教師モデルに近い精度を達成しつつ、著しく遅延を低減できる。学習可能なエネルギー関数を用いることで、再訓練なしにサンプルをルーティング可能であり、MS-COCOでは最大1.8倍の高速化を達成しながら、教師モデルのmAPの97％を維持し、先行する適応的推論手法を上回る性能を示した。

ABSTRACT

State-of-the-art deep learning models have achieved significant performance levels on various benchmarks. However, the excellent performance comes at a cost of inefficient computational cost. Light-weight architectures, on the other hand, achieve moderate accuracies, but at a much more desirable latency. This paper presents a new method of jointly using the large accurate models together with the small fast ones. To this end, we propose an Energy-Based Joint Reasoning (EBJR) framework that adaptively distributes the samples between shallow and deep models to achieve an accuracy close to the deep model, but latency close to the shallow one. Our method is applicable to out-of-the-box pre-trained models as it does not require an architecture change nor re-training. Moreover, it is easy to use and deploy, especially for cloud services. Through a comprehensive set of experiments on different down-stream tasks, we show that our method outperforms strong state-of-the-art approaches with a considerable margin. In addition, we propose specialized EBJR, an extension of our method where we create a smaller specialized side model that performs the target task only partially, but yields an even higher accuracy and faster inference. We verify the strengths of our methods with both theoretical and experimental evaluations.

研究の動機と目的

• 深層学習における推論遅延とモデル精度のトレードオフを解消するため、小規模モデルと大規模事前学習済みモデルの間で適応的ルーティングを可能にすること。
• アーキテクチャの変更や既存モデルの再訓練を必要としない手法を開発し、プラグアンドプレイでの導入を可能にすること。
• 入力の複雑さに基づいて動的に最適なモデルパスを選択することで、実世界の応用における効率性を向上させること。
• 高周波度クラスに特化した学生モデルを活用し、さらに推論速度と精度を向上させること。
• 最小限のメモリオーバーヘッドで、クラウドおよびエッジ推論に柔軟かつ実用的なソリューションを提供すること。

提案手法

• 本手法は、各入力に対してスコアを計算するエネルギーベースのルーティングモジュールを採用し、入力を軽量な学生モデル（高速、小規模）か大規模な教師モデル（高精度、大規模）にルーティングするかを決定する。
• エネルギー関数は、小規模な検証データセットを用いた一回限りのキャリブレーション段階で学習され、学生モデルや教師モデルのファインチューニングは行わない。
• ルーティング意思決定は、予測の信頼度と計算コストのバランスを最適化するエネルギー関数を最小化することで行われる。
• 本フレームワークは、任意の事前学習済み学生-教師ペアと互換性があり、既存システムへのプラグアンドプレイ統合を可能にする。
• 特定の用途向けに最適化されたEBJRのバリエーションを導入し、学生モデルを最も頻出クラスに限定して学習させることで、ルーティングの効率性を向上させる。
• 本手法は静的および動的ルーティングをサポートしており、入力の複雑さに応じて個々のサンプルごとにルーティングを決定する。

実験結果

リサーチクエスチョン

• RQ1 再訓練を伴わず、事前学習済みの学生モデルと大規模な教師モデルを効果的に組み合わせることで、低遅延かつ高精度な推論を達成できるか？
• RQ2 入力の複雑さに基づいて動的に適切なモデルにルーティングするためのエネルギーベースのルーティング機構をどのように設計できるか？
• RQ3 高頻度クラスに特化して学習された学生モデルは、実世界のシナリオにおいて推論の効率性と精度を向上させるか？
• RQ4 さまざまな下流タスクにおいて、EBJRは最先端の適応的推論手法と比較して、遅延-精度トレードオフの面で優れているか？
• RQ5 データ分布（例：共通クラスとレアクラスの割合）が、特化型EBJRの性能に与える影響は何か？

主な発見

• EBJRは、MS-COCOで教師モデルのmAPの97％を達成しつつ、1.8倍の高速化を実現し、ベースラインのEfficientDet-D4および先行する適応的推論手法を上回った。
• 同じmAP水準において、EBJRはZhouら（2017年）が報告した1.3倍の高速化（オブジェクト検出タスク）を上回る1.8倍の高速化を達成した。
• 特化型EBJRは、入力の75％が上位50クラスに属すると仮定した場合、教師モデルと同等の精度を維持しながら、FLOPsを約1.5倍削減した。
• 入力の50％以上が上位50クラスに属する場合、C̄=50の特化型EBJRは、一般EBJRおよび標準モデルを上回る最適な効率性を達成した。
• 本手法は、既存の動的推論技術と直交しており、RS-Netに適用することで、アーキテクチャの変更なしに性能をさらに向上させた。
• エッジデバイスに可能な限り大きな学生モデルをデプロイし、難易度の高いサンプルのみをクラウドにルーティングすることで、メモリオーバーヘッドを管理可能にし、高精度を維持しながらリソース使用量を最小限に抑えることができる。