[論文レビュー] Active Learning Solution on Distributed Edge Computing

Jia Qian, Sayantan Sengupta+1 more|arXiv (Cornell University)|Jun 25, 2019

IoT and Edge/Fog Computing参考文献 25被引用数 10

ひとこと要約

本稿は、産業4.0における分散エッジコンピューティング向けに、エッジデバイスがモンテカルロドロップアウトベイジアンニューラルネットワークを用いて情報量の多いサンプルを選択することで、ラベリングコストと通信オーヘッドを低減する、新しいアクティブラーニングおよびフェデレーテッドラーニングフレームワークを提案する。一方、フォッグノードはフェデレーテッドラーニングによりモデルをアグリゲートする。この手法は、中央集権的トレーニングと同等の精度を達成するが、データ転送量を著しく削減し、プライバシーを向上させる。特に、モデル共有を段階的に実行する大規模なデバイス展開において顕著な効果を示す。

ABSTRACT

Industry 4.0 becomes possible through the convergence between Operational and Information Technologies. All the requirements to realize the convergence is integrated on the Fog Platform. Fog Platform is introduced between the cloud server and edge devices when the unprecedented generation of data causes the burden of the cloud server, leading the ineligible latency. In this new paradigm, we divide the computation tasks and push it down to edge devices. Furthermore, local computing (at edge side) may improve privacy and trust. To address these problems, we present a new method, in which we decompose the data aggregation and processing, by dividing them between edge devices and fog nodes intelligently. We apply active learning on edge devices; and federated learning on the fog node which significantly reduces the data samples to train the model as well as the communication cost. To show the effectiveness of the proposed method, we implemented and evaluated its performance for an image classification task. In addition, we consider two settings: massively distributed and non-massively distributed and offer the corresponding solutions.

研究の動機と目的

• 産業4.0におけるクラウド中心の機械学習における高い通信オーバーヘッドとレイテンシを解決すること。
• 分散エッジ環境におけるラベリングコストの低減とデータ効率の向上。
• エッジデバイスにデータをローカルに保持することで、ユーザーのプライバシーを保護すること。
• 個々のデバイスが限られたデータしか持たない大規模なエッジデバイス展開におけるモデルパフォーマンスの向上。
• スケーラブルでプライバシーを守るAIを実現するため、フォッグコンピューティングアーキテクチャにおいてアクティブラーニングとフェデレーテッドラーニングを統合すること。

提案手法

• エッジデバイスでモンテカルロドロップアウトベイジアンニューラルネットワークを適用し、モデルの不確実性を推定してアクティブラーニングのサンプル選択を支援する。
• フォッグノードでフェデレーテッドラーニングを用いて、生データを転送せずにエッジデバイスからのローカルモデルをアグリゲートする。
• 計算を分解することで、エッジデバイスでローカルモデルをトレーニングし、フォッグノードでそれらをアグリゲートすることで通信負荷を低減する。
• 2つの構成を実装する：非大規模分散（相互通信なし）および大規模分散（隣接デバイス間のモデル共有による段階的トレーニング）。
• アンサンブルベースのモデル不確実性推定を用いて、不確実性が高いサンプルを優先してラベリングする。
• 初期モデルを、完全なデータまたはフェデレーテッドアグリゲーションを用いてフォッグノードでトレーニングし、アクティブラーニングの不確実性推定を有効にする。

実験結果

リサーチクエスチョン

• RQ1 アクティブラーニングをどのように効果的に分散エッジ・フォッグアーキテクチャに適用することで、ラベリングコストを最小限に抑えることができるか？
• RQ2 モンテカルロドロップアウトによるモデル不確実性推定が、エッジデバイスにおけるサンプル選択効率に与える影響は何か？
• RQ3 エッジデバイスが限られたデータしか持たない場合、フェデレーテッドラーニングのパフォーマンスは中央集権的トレーニングと比べてどの程度か？
• RQ4 個々のデバイスが非常に少ないサンプルしか持たない大規模なエッジ展開において、生じるトレードオフは何か？
• RQ5 隣接エッジデバイス間でモデルを段階的に共有することで、トレーニングレイテンシが増加する代わりに、精度が向上するか？

主な発見

• 非大規模な設定（例：4デバイス）では、最適なアグリゲーションを用いたフェデレーテッドラーニングが、合計400件のトレーニングサンプルで96.3％の精度を達成し、非FLベースライン（1600件で90.1％）を上回った。
• 20台のデバイスがそれぞれ60枚の画像（合計1200件）でトレーニングする場合、中央集権的フォッグノードでFLを用いることで、有効なトレーニングサンプルが400件で91.8％の精度を達成した。一方、通信なしの設定では75％の精度にとどまった。
• 2台および4台のエッジデバイス間でモデルトレーニングを段階的に実行することで、精度はそれぞれ87％および90％に向上したが、トレーニング時間は2倍および4倍に増加した。
• フェデレーテッドラーニングにおける最適なモデルアグリゲーション戦略は、単純な平均化を上回り、400件の合計サンプルで40件の取得設定において96.3％の精度を達成した。
• 中央集権的トレーニング（1200件で89％の精度）と分散FL（通信なしで75％）との間の性能差は、大規模な展開においてデバイス間連携の重要性を示している。
• アクティブラーニングにおけるウィンドウサイズはパフォーマンスに顕著な影響を与える：小さすぎると不確実性推定が不十分になり、大きすぎるとアクティブサンプリングの利点が減少する。