[論文レビュー] Aging Bandits: Regret Analysis and Order-Optimal Learning Algorithm for Wireless Networks with Stochastic Arrivals

Eray Unsal Atay, Igor Kadota+1 more|arXiv (Cornell University)|Dec 15, 2020

Age of Information Optimization被引用数 10

ひとこと要約

本稿は、未知のチャネル信頼性を有する無線ネットワークにおけるAge-of-Information (AoI) を最小化する学習アルゴリズムのスケジューリング問題として、Aging Bandit 問題を導入する。従来のマルチアームドバンディット手法（例：UCB、Thompson Sampling）がΘ(log T)のレグレットを示すのに対し、本稿ではO(1)の有界レグレットを達成する画期的な学習アルゴリズムを提案する。これは、確率的到着を伴うAoI最小化において、有限のレグレットを達成する最初のオーダー最適なアルゴリズムである。

ABSTRACT

We consider a single-hop wireless network with sources transmitting time-sensitive information to the destination over multiple unreliable channels. Packets from each source are generated according to a stochastic process with known statistics and the state of each wireless channel (ON/OFF) varies according to a stochastic process with unknown statistics. The reliability of the wireless channels is to be learned through observation. At every time slot, the learning algorithm selects a single pair (source, channel) and the selected source attempts to transmit its packet via the selected channel. The probability of a successful transmission to the destination depends on the reliability of the selected channel. The goal of the learning algorithm is to minimize the Age-of-Information (AoI) in the network over $T$ time slots. To analyze the performance of the learning algorithm, we introduce the notion of AoI regret, which is the difference between the expected cumulative AoI of the learning algorithm under consideration and the expected cumulative AoI of a genie algorithm that knows the reliability of the channels a priori. The AoI regret captures the penalty incurred by having to learn the statistics of the channels over the $T$ time slots. The results are two-fold: first, we consider learning algorithms that employ well-known solutions to the stochastic multi-armed bandit problem (such as $\\epsilon$-Greedy, Upper Confidence Bound, and Thompson Sampling) and show that their AoI regret scales as $\\Theta(\\log T)$; second, we develop a novel learning algorithm and show that it has $O(1)$ regret. To the best of our knowledge, this is the first learning algorithm with bounded AoI regret.

研究の動機と目的

• 確率的パケット到着と信頼性が未知の不確実なチャネルを有するシングルホップ無線ネットワークにおいて、Age-of-Information (AoI) を最小化する課題に対処すること。
• スケジューリング問題を、報酬が履歴依存のAoI削減に依存する新しい確率的マルチアームドバンディットの変種「Aging Bandits」としてモデル化すること。
• 学習方策のレグレットを、完全なチャネル信頼性を事前に知るジェイニーポリシーとの累積AoIの偏差の観点から分析すること。
• 従来のバンディット方策が示す対数的レグレットとは対照的に、有界（O(1)）のAoIレグレットを達成する新しい学習アルゴリズムを設計すること。
• シミュレーションにより、提案手法が高トラフィック（大きなλ）条件下でも、収束が早く、より低いレグレットを維持することを示すこと。

提案手法

• 報酬がチャネル信頼性と送信元の現在のAoIの両方に依存する成功送信によるAoI削減である、Aging Bandit問題として問題を形式化する。
• 学習方策の期待累積AoIと、チャネル信頼性を完全に把握するジェイニーポリシーの期待累積AoIとの差として、AoIレグレットを定義する。
• 標準的なマルチアームドバンディット方策（ε-greedy、Upper Confidence Bound (UCB)、Thompson Sampling (TS)）をAoI文脈に適応し、それらのAoIレグレットがΘ(log T)に比例することを証明する。
• 推定されたチャネル信頼性と現在のAoIに基づき、動的に送信元-チャネルペアを選択する新しい学習アルゴリズム「Optimal policy」を提案し、有界なレグレットを保証する。
• 初期学習フェーズ（10⁴スロット）にThompson Samplingを用い、その後Optimal policyに切り替えることで収束を加速する「Hybrid policy」を設計する。
• M=3の送信元、N=5のチャネル、および変動するパケット生成レート（λ=0.1およびλ=0.75）を用いたシミュレーションにより、T=10⁵スロットの間でレグレットと信頼性推定の正確さを評価する。

実験結果

リサーチクエスチョン

• RQ1 従来のマルチアームドバンディット手法（ε-greedy、UCB、TS）は、履歴依存の報酬を持つAoI最小化文脈で、有界なレグレットを達成できるか？
• RQ2 確率的到着と未知のチャネル信頼性を有する無線ネットワークにおける学習方策の根本的なレグレットスケーリングは何か？
• RQ3 有界（O(1)）AoIレグレットを達成する新しい学習アルゴリズムを設計できるか？
• RQ4 高トラフィック（大きなλ）下で、提案されたOptimal policyの性能はどのように劣化するか？また、これを緩和できるか？
• RQ5 Thompson Samplingと長期的最適方策を組み合わせたHybridアプローチは、実際の運用で収束速度を向上させ、より低いレグレットを達成できるか？

主な発見

• 標準的なバンディットベースの方策（ε-greedy、UCB、TS）のAoIレグレットはΘ(log T)に比例する。これは、従来のバンディット文脈ではオーダー最適であるが、AoI文脈ではそうではないことを確認する。
• 提案されたOptimal学習アルゴリズムはO(1)のAoIレグレットを達成し、確率的到着を伴うAoI最小化において、有界レグレットを達成する最初の既知の学習アルゴリズムである。
• T=10⁵のとき、λが0.1から0.75に増加すると、Optimal policyのAoIレグレットは491.0倍に増加する。これは、高トラフィック環境下での学習速度の遅さに起因する。
• Thompson Samplingを最初の10⁴スロットで使用し、その後Optimal policyに切り替えるHybrid policyは、高λ条件下でOptimal policy単体と比較して、学習速度を著しく向上させ、レグレットを低減する。
• シミュレーション結果から、Optimal policyが長期間にわたり、非最適なチャネルに対して高い推定信頼性を割り当てる傾向があり、特に高λ条件下で高いレグレットを生じることがわかった。
• 提案されたOptimal policyは、十分に長いTの後には真のチャネル信頼性に収束し、その後AoIレグレットは増加しなくなる。これは、理論的O(1)の境界が正当化されていることを確認する。