[論文レビュー] Wireless Data Acquisition for Edge Learning: Data-Importance Aware Retransmission

Dongzhu Liu, Guangxu Zhu+2 more|arXiv (Cornell University)|Dec 5, 2018

Wireless Signal Modulation Classification参考文献 31被引用数 7

ひとこと要約

本稿では、無線エッジ学習におけるデータ重要度に配慮した再送信プロトコルである importance ARQ を提案する。このプロトコルは、SVMにおける意思決定境界からの距離、またはCNNにおける予測確率のエントロピーで測定される不確実性が大きいサンプルを優先して再送信する。SNRと不確実性の関係を用いることで、特にチャネルのフェージングやデータの不均衡が生じる状況下でも、従来のARQに比べてモデル収束が速くなり、不均衡な設定では最大10%の性能向上を達成する。

ABSTRACT

By deploying machine-learning algorithms at the network edge, edge learning can leverage the enormous real-time data generated by billions of mobile devices to train AI models, which enable intelligent mobile applications. In this emerging research area, one key direction is to efficiently utilize radio resources for wireless data acquisition to minimize the latency of executing a learning task at an edge server. Along this direction, we consider the specific problem of retransmission decision in each communication round to ensure both reliability and quantity of those training data for accelerating model convergence. To solve the problem, a new retransmission protocol called data-importance aware automatic-repeat-request (importance ARQ) is proposed. Unlike the classic ARQ focusing merely on reliability, importance ARQ selectively retransmits a data sample based on its uncertainty which helps learning and can be measured using the model under training. Underpinning the proposed protocol is a derived elegant communication-learning relation between two corresponding metrics, i.e., signal-to-noise ratio (SNR) and data uncertainty. This relation facilitates the design of a simple threshold based policy for importance ARQ. The policy is first derived based on the classic classifier model of support vector machine (SVM), where the uncertainty of a data sample is measured by its distance to the decision boundary. The policy is then extended to the more complex model of convolutional neural networks (CNN) where data uncertainty is measured by entropy. Extensive experiments have been conducted for both the SVM and CNN using real datasets with balanced and imbalanced distributions. Experimental results demonstrate that importance ARQ effectively copes with channel fading and noise in wireless data acquisition to achieve faster model convergence than the conventional channel-aware ARQ.

研究の動機と目的

• 分散デバイスからの信頼性の低い無線データ収集が引き起こす遅延ボトル neck を解消すること。
• すべてのデータを同等に扱う従来のARQの限界を克服すること。
• モデル収束に与える影響を考慮したデータサンプルの重要度に基づいて再送信を優先するプロトコルを設計すること。
• 特に意思決定境界付近のサンプルに高い重要度が集中する学習データの非一様な重要度分布を活用し、より効率的な無線リソース割り当てを実現すること。
• チャネルフェージングや不均衡データセットを含む現実的な条件下でのプロトコルの性能を評価すること。

提案手法

• データの不確実性を再送信優先度の指標として用いる、新しい再送信プロトコルである importance ARQ を提案する。
• 信号対雑音比（SNR）とデータの不確実性の間の通信-学習関係を確立し、しきい値に基づく再送信意思決定を可能にする。
• SVMでは、不確実性をサンプルと意思決定超平面との距離で測定する。CNNでは、予測クラス確率のエントロピーで測定する。
• SNR-不確実性トレードオフに基づくしきい値ポリシーを導出し、サンプルの再送信の可否を判断する。
• 実世界のデータセットを用いて、バランス型および不均衡型のデータシナリオにおいて学習収束を評価する。
• t-SNE可視化と再送信予算分析を用いて、重要度 ARQ が高不確実性サンプルに適応的に反応することを検証する。

実験結果

リサーチクエスチョン

• RQ1 データの不確実性に基づいた再送信優先度付けが、無線エッジ学習におけるモデル収束をどのように改善するか？
• RQ2 効率的な再送信制御を可能にするSNRとデータ不確実性の根本的関係は何か？
• RQ3 フェージングやノイズが生じる状況下で、importance ARQ は従来のチャネルに配慮したARQに比べてどのように性能を発揮するか？
• RQ4 少数クラスのサンプルが学習においてより重要である不均衡データ分類において、プロトコルはより大きな利得をもたらすか？
• RQ5 SVMから複雑なモデル（例：CNN）への再送信ポリシーの拡張は、実際に有効に機能するか？

主な発見

• importance ARQ は、特に高いチャネル雑音やフェージング条件下でも、従来のARQに比べてより速いモデル収束を達成する。
• 不均衡データ分類において、importance ARQ はチャネルに配慮したARQに比べ、F-measureとG-meanで最大10%の性能向上を示す。
• プロトコルは高不確実性サンプル、特に少数クラスのサンプルに多くの再送信リソースを割り当てており、学習にとってより重要である。
• t-SNE可視化により、少数クラスのサンプルがより高い不確実性を示しており、importance ARQ がそれらを優先することが確認された。一方、チャネルに配慮したARQはすべてのクラスを同様に扱う。
• SNR-不確実性関係により、チャネル状態とデータの有用性に適応するシンプルだが効果的なしきい値ベースの再送信ポリシーを実現できる。
• この手法はSVMからCNNへと容易に拡張可能であり、エントロピーに基づく不確実性測定により、深層学習モデルでも効果的な優先順位付けが可能である。