[論文レビュー] Data-Importance Aware User Scheduling for Communication-Efficient Edge Machine Learning

Dongzhu Liu, Guangxu Zhu+2 more|arXiv (Cornell University)|Oct 5, 2019

Advanced MIMO Systems Optimization参考文献 43被引用数 5

ひとこと要約

本稿では、通信効率の良いエッジ機械学習を実現するための、データ重要性に配慮したユーザスケジューリング方式を提案する。この方式は、チャネル状態とデータサンプルの情報量を統合最適化することで、モデル収束を加速する。信号対雑音比（SNR）とデータの不確実性（SVMでは意思決定境界からの距離、CNNではエントロピーで測定）を組み合わせることで、2重のマルチユーザダイバーシティを活用し、実データセット上でのベースライン方式と比較して最大8%高い精度を達成し、収束が速くなる。

ABSTRACT

With the prevalence of intelligent mobile applications, edge learning is emerging as a promising technology for powering fast intelligence acquisition for edge devices from distributed data generated at the network edge. One critical task of edge learning is to efficiently utilize the limited radio resource to acquire data samples for model training at an edge server. In this paper, we develop a novel user scheduling algorithm for data acquisition in edge learning, called (data) importance-aware scheduling. A key feature of this scheduling algorithm is that it takes into account the informativeness of data samples, besides communication reliability. Specifically, the scheduling decision is based on a data importance indicator (DII), elegantly incorporating two "important" metrics from communication and learning perspectives, i.e., the signal-to-noise ratio (SNR) and data uncertainty. We first derive an explicit expression for this indicator targeting the classic classifier of support vector machine (SVM), where the uncertainty of a data sample is measured by its distance to the decision boundary. Then, the result is extended to convolutional neural networks (CNN) by replacing the distance based uncertainty measure with the entropy. As demonstrated via experiments using real datasets, the proposed importance-aware scheduling can exploit the two-fold multi-user diversity, namely the diversity in both the multiuser channels and the distributed data samples. This leads to faster model convergence than the conventional scheduling schemes that exploit only a single type of diversity.

研究の動機と目的

• 分散デバイスからの高次元データのアップロードに起因するエッジ学習における通信ボトルネックを解消すること。
• チャネル品質とデータサンプルの情報量の両面を統合最適化することで、学習効率を向上させること。
• 無線チャネルと分散データサンプルの両方におけるマルチユーザダイバーシティを活用し、より速いモデル収束を実現すること。
• 集中型およびフェデレーテッドエッジ学習システムに適用可能なスケーラブルなスケジューリングフレームワークを構築すること。

提案手法

• 通信の信頼性（SNR）と学習の関連性（データの不確実性）を統合したデータ重要性インジケータ（DII）を導入する。
• SVMでは、不確実性をデータサンプルと意思決定境界とのユークリッド距離として測定する。
• CNNでは、効率的な計算を可能にするために予測エントロピーを用いて不確実性を近似する。
• スケジューリング意思決定では、DII値が高いかつ、チャネル品質とデータ重要性の両方を考慮したユーザーを優先する。
• 計算負荷を低減するため、特にCNNに対しては重要性評価用に圧縮モデルを採用する。
• ラベル情報の取り扱いに対応したフレームワークを拡張し、さまざまな圧縮比における性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 チャネル状態とデータサンプルの情報量を統合最適化することで、エッジ機械学習における学習収束速度が向上するか？
• RQ2 意思決定境界からの距離または予測エントロピーで測定されるデータの不確実性が、スケジューリング性能に与える影響は何か？
• RQ3 重要性評価のためのモデル圧縮により、計算コストをどれだけ低減できるか。ただし、学習精度を損なわない範囲で。
• RQ4 従来のチャネルに配慮したスケジューリングやデータに配慮したスケジューリングと比較して、提案手法は収束速度と最終的な精度でどのように優れているか？
• RQ5 ラベル情報を組み込むことで、重要性に配慮したスケジューリングの性能がさらに向上するか？

主な発見

• 提案手法は、チャネルとデータのダイバーシティを活用することで、従来手法よりも速いモデル収束を実現し、重要性に配慮したスケジューリングを達成した。
• ラベル情報を組み込むことで、チャネルに配慮したスケジューリングと比較して5%、データに配慮したスケジューリングと比較して8%の精度向上を達成した。
• SVMでは、パラメータ数が1/10の圧縮評価モデルでもほぼ最適性能を達成できるが、モデル精度が向上するにつれて誤差損失が増加する傾向がある。
• CNNでは、パラメータ数が1/5の圧縮モデルでも、元の非圧縮バージョンと同等の性能を達成でき、1/20の圧縮比でも損失は50%未満に抑えられる。
• 深層モデルの高い冗長性と耐性を考慮すると、CNNではSVMよりも性能向上が顕著に現れた。
• 限られた送信バジェット下でも本手法は有効であり、強力なスケーラビリティと効率性を示した。