[論文レビュー] Online Learning for Wireless Distributed Computing

Yi‐Hsuan Kao, Kwame-Lante Wright+2 more|arXiv (Cornell University)|Nov 9, 2016

Advanced Bandit Algorithms Research参考文献 13被引用数 6

ひとこと要約

本稿では、動的で変化しやすい無線分散コンピューティング環境におけるタスク割り当てのための新しいオンライン学習アルゴリズムMABSTAを提案する。ステートリスティック的仮定を必要としない敵対的マルチアームバンディットフレームワークを用い、探索的プローブによってデバイスおよびチャネルの性能を段階的に学習し、保証された最悪ケース性能を達成する。実世界のトレースに基づくエミュレーションにおいて、オフライン最適解およびベースライン手法と比較して、強固で競争力のある性能を示している。

ABSTRACT

There has been a growing interest for Wireless Distributed Computing (WDC), which leverages collaborative computing over multiple wireless devices. WDC enables complex applications that a single device cannot support individually. However, the problem of assigning tasks over multiple devices becomes challenging in the dynamic environments encountered in real-world settings, considering that the resource availability and channel conditions change over time in unpredictable ways due to mobility and other factors. In this paper, we formulate a task assignment problem as an online learning problem using an adversarial multi-armed bandit framework. We propose MABSTA, a novel online learning algorithm that learns the performance of unknown devices and channel qualities continually through exploratory probing and makes task assignment decisions by exploiting the gained knowledge. For maximal adaptability, MABSTA is designed to make no stochastic assumption about the environment. We analyze it mathematically and provide a worst-case performance guarantee for any dynamic environment. We also compare it with the optimal offline policy as well as other baselines via emulations on trace-data obtained from a wireless IoT testbed, and show that it offers competitive and robust performance in all cases. To the best of our knowledge, MABSTA is the first online algorithm in this domain of task assignment problems and provides provable performance guarantee.

研究の動機と目的

• 移動性やワークロードの変動によって、デバイスリソースやチャネル状態が急速に変化する無線分散コンピューティング環境における、動的で予測不能なタスク割り当ての課題に対処すること。
• 環境に関するステートリスティック的仮定を一切行わないオンライン学習アルゴリズムを設計し、いかなる動的状況にも強固に適応可能にする。
• 敵対的かつ非定常な環境下でのタスク割り当てに対して、保証された最悪ケース性能を提供すること。
• モバイル、IoT、センサーネットワークにおける協調コンピューティングを向上させ、最小限のオーバーヘッドでリアルタイムかつ適応的タスク割り当てを可能にすること。
• 実世界のトレースデータを用いた無線IoTテストベッドから得たデータを用いて、最適なオフライン方策および既存のベースライン手法と比較して、アルゴリズムの性能を評価すること。

提案手法

• 環境の定常性に関する仮定を避けるために、タスク割り当て問題を敵対的マルチアームバンディット（MAB）問題として定式化する。
• 未知のデバイス／チャネルをプローブするための探索と、学習済み知識を活用するための活用をバランスさせる、軽量なオンライン学習アルゴリズムMABSTAを提案する。
• 推定報酬に基づく重み付き確率更新ルールを採用し、レーティングのバランスを取るために学習率パラメータαを設定する。
• 数学的解析を用いて最悪ケースのレジーットバウンドを導出し、最適なオフライン方策との差が保証された範囲内に保たれることを保証する。
• 集中不等式およびバウンディング技術を用いて、すべての可能なタスク割り当てにおける報酬項の推定誤差を制御する。
• システムパラメータ、例えばデバイス数N、エッジ数|E|、および可能な割り当ての総数M^Nに依存する性能保証を導出する。

実験結果

リサーチクエスチョン

• RQ1 ステートリスティック的または定常的行動を仮定しない状況において、オンライン学習アルゴリズムが、非常に動的で変化しやすい無線分散コンピューティング環境で強固なタスク割り当て性能を達成できるか？
• RQ2 敵対的かつ非定常な環境下でのオンラインタスク割り当てアルゴリズムの最悪ケース性能保証は何か？
• RQ3 提案されたMABSTAアルゴリズムは、実世界のトレース駆動型シナリオにおいて、最適なオフライン方策および既存のベースライン手法と比較してどのように振る舞うか？
• RQ4 MABSTAは、デバイスの可用性や無線チャネル品質の予測不能な変化に対して、どの程度適応可能か？
• RQ5 オンラインタスク割り当てにおいて、学習速度、計算複雑性、および性能保証の間には、どのようなトレードオフが存在するか？

主な発見

• MABSTAは、(e−1)γR_total^max + M(N+|E|M)ln(M^N)/γという最悪ケースレジーットバウンドを達成し、環境仮定に依存しない保証されたバウンドである。
• トレース駆動型エミュレーションにおいて、すべてのテストシナリオで競争的かつ強固な性能を示し、動的条件下でベースライン手法を上回った。
• MABSTAは、環境が時間とともに敵対的に変化する状況においても、最適なオフライン方策との相対的な性能保証を提供する。
• アルゴリズムの性能は安定的かつスケーラブルであり、その軽量設計のおかげで計算およびストレージのオーバーヘッドが低い。
• 実験的結果から、MABSTAは探索的プローブを通じてデバイスおよびチャネルの性能を効果的に学習し、ほぼ最適なタスク割り当て意思決定を可能にしている。
• 理論的解析により、環境に関するステートリスティック的仮定がなくても、MABSTAが有界なレジーットギャップ内で解に収束することが確認された。