[論文レビュー] Progressive Feature Transmission for Split Inference at the Wireless Edge

Qiao Lan, Qunsong Zeng+3 more|arXiv (Cornell University)|Dec 14, 2021

Distributed Sensor Networks and Detection Algorithms被引用数 7

ひとこと要約

本稿では、無線エッジAIシステムにおける効率的なスプリットインフェレンスのための新しいプロトコルであるプログレッシブ・フェイチャートランスミッション（ProgressFTX）を提案する。チャネル状態と信頼度のしきい値に応じて、最も識別性の高い特徴量を段階的に選択し、動的に送信を終了することで、従来の特徴量プルーニングやランダム送信と比較して、特に fading チャネルおよび高次元特徴量負荷下で通信遅延を最大60％まで低減する。

ABSTRACT

In edge inference, an edge server provides remote-inference services to edge devices. This requires the edge devices to upload high-dimensional features of data samples over resource-constrained wireless channels, which creates a communication bottleneck. The conventional solution of feature pruning requires that the device has access to the inference model, which is unavailable in the current scenario of split inference. To address this issue, we propose the progressive feature transmission (ProgressFTX) protocol, which minimizes the overhead by progressively transmitting features until a target confidence level is reached. The optimal control policy of the protocol to accelerate inference is derived and it comprises two key operations. The first is importance-aware feature selection at the server, for which it is shown to be optimal to select the most important features, characterized by the largest discriminant gains of the corresponding feature dimensions. The second is transmission-termination control by the server for which the optimal policy is shown to exhibit a threshold structure. Specifically, the transmission is stopped when the incremental uncertainty reduction by further feature transmission is outweighed by its communication cost. The indices of the selected features and transmission decision are fed back to the device in each slot. The optimal policy is first derived for the tractable case of linear classification and then extended to the more complex case of classification using a convolutional neural network. Both Gaussian and fading channels are considered. Experimental results are obtained for both a statistical data model and a real dataset. It is seen that ProgressFTX can substantially reduce the communication latency compared to conventional feature pruning and random feature transmission.

研究の動機と目的

• リソース制約のある無線チャネルを介した高次元特徴量送信に起因するエッジインフェレンスにおける通信ボトルネックを解消すること。
• スプリットインフェレンスの状況では利用できないが、従来の特徴量プルーニングではインフェレンスモデルへのアクセスを必要とするという制限を克服すること。
• 時間変動するチャネル状態に動的に適応し、最小限の送信オーバーヘッドで高いインフェレンス信頼度を達成するプロトコルを設計すること。
• 遅延を最小限に抑えつつ分類精度を維持するため、特徴量選択および送信終了ポリシーを最適化すること。
• 線形分類から畳み込みニューラルネットワーク（CNN）を含む深層ニューラルネットワークへのプロトコルの拡張を、ガウス分布およびfading無線チャネルの両条件下で行うこと。

提案手法

• 重要度に配慮した特徴量選択と動的送信終了を組み合わせた二段階プロトコルとして、プログレッシブ・フェイチャートランスミッション（ProgressFTX）を提案する。
• サーバー側で、各特徴量次元あたりの不確実性低減量（識別的ゲイン）に基づいて、グリーディ選択ポリシーを用いて特徴量を選択する。
• 送信コストと利益のバランスを考慮し、限界的な信頼度向上がコストを上回らなくなった時点で送信を停止するしきい値ベースの送信制御ポリシーを実装する。
• 確率的動的プログラミングを用いて最適制御ポリシーを導出し、送信終了ポリシーがしきい値構造を示すことを示す。
• ガウスチャネルおよびレイリー fading チャネルの両条件下で最適化問題を定式化し、統合的ソース・チャネル符号化を考慮する。
• 統計的および実データのモデルを用いて特徴マップとその識別的重要度をモデル化することで、畳み込みニューラルネットワークへの理論的枠組みの拡張を実現する。

実験結果

リサーチクエスチョン

• RQ1 デバイスがサーバーのモデルにアクセスできない状況下で、スプリットインフェレンスにおける特徴量送信をどのように最適化できるか。
• RQ2 インフェレンス信頼度の向上に寄与する特徴量の重要性が異なる中で、どの特徴量を送信する最適なポリシーは何か。
• RQ3 時間変動する無線環境下で、通信コストとインフェレンス精度のバランスを取るために、送信をどのように動的に終了すべきか。
• RQ4 実際の無線環境下で、ワンショット特徴量プルーニングやランダム特徴量送信と比較して、提案プロトコルが顕著な遅延低減を達成できるか。
• RQ5 fading チャネル下および CNN などの複雑なモデル下で、ProgressFTX の性能はどのようにスケーリングするか。

主な発見

• 最適な特徴量選択ポリシーはグリーディであることが示され、各次元あたりの不確実性低減量が最大の特徴量が選択される。
• 最適な送信終了ポリシーはしきい値構造を示す：追加の送信による不確実性低減量が、その通信コストを下回った時点で送信が停止する。
• ガウスチャネルおよびレイリー fading チャネルの両方において、ProgressFTX は上界付き不確実性が超指数関数的に減少し、送信特徴量の増加に伴い漸近的にゼロに収束することを証明する。
• 統計的および実世界のデータセットを用いた実験結果から、ProgressFTX は従来の特徴量プルーニングおよびランダム送信と比較して、通信遅延を最大60％まで低減することが示された。
• 特に GoogLeNet の特徴マップから得られる 2×10⁶ 個の係数を含む高次元特徴量負荷下でも、高い分類精度を維持する。
• 最適化問題の凸性が証明され、動的プログラミングを用いて最適制御ポリシーを効率的に計算可能であることが示された。