[論文レビュー] AppealNet: An Efficient and Highly-Accurate Edge/Cloud Collaborative Architecture for DNN Inference

Min Li, Yu Li+3 more|arXiv (Cornell University)|May 10, 2021

Advanced Neural Network Applications参考文献 26被引用数 5

ひとこと要約

AppealNetは、近似用の軽量DNN（リトルネット）と信頼性の高い入力分類用の予測ヘッドを同時に最適化する二重ヘッドニューラルネットワークアーキテクチャを提案する。これにより、正確で効率的なエッジ・クラウド連携が可能となる。新しい損失関数を用いて二つのヘッドを同時に学習することで、最先端の手法と比較して最大80％のエネルギー節約を達成しながら、ほぼ理想に近い精度を維持する。特に顔のキーポイント検出のような分類および回帰タスクにおいて顕著な効果を示す。

ABSTRACT

This paper presents AppealNet, a novel edge/cloud collaborative architecture that runs deep learning (DL) tasks more efficiently than state-of-the-art solutions. For a given input, AppealNet accurately predicts on-the-fly whether it can be successfully processed by the DL model deployed on the resource-constrained edge device, and if not, appeals to the more powerful DL model deployed at the cloud. This is achieved by employing a two-head neural network architecture that explicitly takes inference difficulty into consideration and optimizes the tradeoff between accuracy and computation/communication cost of the edge/cloud collaborative architecture. Experimental results on several image classification datasets show up to more than 40% energy savings compared to existing techniques without sacrificing accuracy.

研究の動機と目的

• 入力ルーティングに不正確な信頼度スコアに依存する既存のBig/Littleニューラルネットワークシステムの非効率性を是正すること。
• DNN推論における簡単な入力と難しい入力を信頼できる理論的根拠に基づいた方法で区別するための信頼性の高い手法を開発すること。
• 精度を損なわず、エッジ・クラウドAIシステムにおける顕著なエネルギー節約を実現すること。
• 分類タスクにとどまらず、顔のキーポイント検出のような回帰タスクへのBig/Littleシステムの適用範囲を拡張すること。

提案手法

• Big/Littleネットワーク設計を、近似器と予測器の設計を統合した共同最適化問題として定式化する。
• リトルネットが同時に予測とアピール確率を出力する二重ヘッドアーキテクチャを導入する。
• 近似とアピール予測の両タスクのエンドツーエンド最適化を可能にする、新しい訓練損失関数を設計する。
• 分類精度と信頼性のあるアピールしきい値の両方をバランスさせるために、組み合わせ損失関数でリトルネットを訓練する。
• 分類には交差エントロピー、回帰にはL2損失を用いて、分類および回帰タスクの両方へフレームワークを適用する。
• しきい値に基づくルーティング機構を採用：アピール確率がδ（例：0.5）を超える場合、ビッグネットにルーティングする。それ以外の場合はリトルネットを使用する。

Figure 1: Prediction-based B/L system design.

実験結果

リサーチクエスチョン

• RQ1 信頼度ベースのヒューリスティクスと比較して、共同最適化フレームワークはBig/Littleニューラルネットワークシステムにおける入力の差別化の信頼性を向上させることができるか？
• RQ2 軽量DNNにおける二重ヘッドアーキテクチャは、エッジ・クラウド推論における正確で効率的なルーティング意思決定をどのように可能にするか？
• RQ3 AppealNetは、多様なDNNモデルおよびデータセットにおいて、高い精度を維持しながらどれほどエネルギー消費を削減できるか？
• RQ4 提案手法は、顔のキーポイント検出のような回帰タスクへ効果的に拡張可能か？
• RQ5 実世界の展開環境において、スキップ率と精度低下のトレードオフはどのようなものか？

主な発見

• AppealNetは、最先端のBig/Littleシステムと比較して最大80％のエネルギー節約を達成し、顕著な効率向上を示した。
• CIFAR-100およびTiny-ImageNetにおいて、AppealNetは5.0％の精度低下で99.93％のスキップ率を達成しながら、ほぼ理想の精度を維持した。
• 顔のキーポイント検出において、AppealNetは元のモデルと比較してRMSEが2.47、精度が94.93％を維持し、性能低下が最小限に抑えられた。
• 1.0％の精度低下の条件下で、顔のキーポイント検出においてAppealNetは75.50％のスキップ率を達成し、実世界展開における高い効率性を示した。
• 本手法は分類および回帰タスクの両方で有効であり、ヒューリスティックな信頼度スコアに依存しないことから、汎用性が証明された。
• 理論的分析により、共同最適化フレームワークが、ソフトマックスベースの信頼度測定の限界を克服する信頼できる予測信頼度を可能にすることが確認された。

Figure 2: Two-head architecture for the little network in AppealNet.