[論文レビュー] Decentralized Online Learning Algorithms for Opportunistic Spectrum Access

Yi Gai, Bhaskar Krishnamachari|arXiv (Cornell University)|Apr 1, 2011

Cognitive Radio Networks and Spectrum Sensing参考文献 7被引用数 16

ひとこと要約

本稿では、認知的無線ネットワークにおける複数のセカンドリーユーザーが調整なしに最適なスプライスアクセスを学習できる、2つの分散型オンライン学習アルゴリズム—優先アクセスを目的としたDLPと公平アクセスを目的としたDLF—を提案する。新たなSL(K)方策を導入することで、U既是のUCB1を一般化し、K番目に良いチャネルを選択可能にした。両アルゴリズムとも、チャネル報酬の事前知識がなくても、一様に対数的 regret スケーリングを達成する。DLFは、O(M(N−M))の順序最適 regret スケーリングを達成する。

ABSTRACT

The fundamental problem of multiple secondary users contending for opportunistic spectrum access over multiple channels in cognitive radio networks has been formulated recently as a decentralized multi-armed bandit (D-MAB) problem. In a D-MAB problem there are $M$ users and $N$ arms (channels) that each offer i.i.d. stochastic rewards with unknown means so long as they are accessed without collision. The goal is to design a decentralized online learning policy that incurs minimal regret, defined as the difference between the total expected rewards accumulated by a model-aware genie, and that obtained by all users applying the policy. We make two contributions in this paper. First, we consider the setting where the users have a prioritized ranking, such that it is desired for the $K$-th-ranked user to learn to access the arm offering the $K$-th highest mean reward. For this problem, we present the first distributed policy that yields regret that is uniformly logarithmic over time without requiring any prior assumption about the mean rewards. Second, we consider the case when a fair access policy is required, i.e., it is desired for all users to experience the same mean reward. For this problem, we present a distributed policy that yields order-optimal regret scaling with respect to the number of users and arms, better than previously proposed policies in the literature. Both of our distributed policies make use of an innovative modification of the well known UCB1 policy for the classic multi-armed bandit problem that allows a single user to learn how to play the arm that yields the $K$-th largest mean reward.

研究の動機と目的

• 複数のセカンドリーユーザーが調整なしに空きチャネルを競争する認知的無線ネットワークにおける分散型スプライスアクセスの課題に対処する。
• 問題を2つの異なる目的を持つ分散型マルチアームバンディット（D-MAB）として定式化する：優先アクセス（順位付けられたユーザが上位Kチャネルにアクセス）と公平アクセス（全ユーザが等しい期待報酬を得る）。
• チャネル報酬の平均値の事前知識が不要で、中央集権的調整も不要な分散型学習方策を設計する。
• 時間経過に伴い一様に対数的 regret スケーリングを達成するとともに、ユーザ数Mとチャネル数Nに関して最適なスケーリングを実現する。
• 各ユーザが分散的にK番目にランク付けされたチャネルを学習できるようにする、新規サブルーチンSL(K)を開発する。これは古典的UCB1アルゴリズムの一般化である。

提案手法

• SL(K)を導入する。これはUCB1に基づく修正版方策であり、期待報酬がK番目に大きいアーム（チャネル）を特定・学習可能にし、順位選択に適合した信頼区間を用いる。
• DLP（分散型学習方策）を設計する。SL(K)を用いてユーザにK番目に良いチャネルを学習させることで、報酬の事前知識がなくても各ユーザが適切なチャネルに収束することを保証する。
• DLF（分散型学習公平性方策）を設計する。SL(K)を変更し、ユーザ間でチャネルアクセスをバランスさせる。協調的な探索と活用により、期待報酬の平等性を確保する。
• Chernoff-Hoeffding不等式を用いて、誤ったアーム選択確率を分析し、信頼区間に基づいて非最適アームが選択される回数を制限する。
• 非最適アームの期待選択回数を分析することで regret 界を導出する。各アームについてその選択回数がO(log n)であることを示し、対数的 regret スケーリングを導く。
• DLFの regret スケーリングがO(M(N−M))であることを確立し、理論的下界Ω(M(N−M))と一致することを示し、公平アクセス設定における順序最適性を証明する。

実験結果

リサーチクエスチョン

• RQ1 チャネル報酬平均の事前知識がなくても、優先アクセス問題において一様に対数的 regret スケーリングを達成できる分散型学習方策を設計可能か？
• RQ2 理論的下界に一致する regret スケーリングを達成できる分散型方策を、公平スプライスアクセスのために設計可能か？
• RQ3 報酬分布が未知の分散型マルチアームバンディット設定において、1人のユーザがK番目に良いチャネルを選択する方法は何か？
• RQ4 MユーザとNチャネルを持つ分散型学習における、認知的無線ネットワークにおける最適 regret スケーリングは何か？
• RQ5 ランクベースのアーム選択を可能にする分散型バンディット問題において、UCB1の一般化を構築可能か？

主な発見

• 提案されたDLP方策は、チャネル報酬平均の事前知識がなくても、優先アクセス問題において時間経過に伴い一様に対数的 regret スケーリングを達成する。
• DLF方策は、O(M(N−M))の regret スケーリングを達成し、理論的下界Ω(M(N−M))と一致する。これにより、公平アクセス設定における順序最適性が証明される。
• SL(K)サブルーチンは、UCB1をK番目にランク付けされたチャネルの選択に一般化し、非最適アームごとにO(log n)の regret で抑えられる。
• 分析により、非最適アームが選択される期待回数がO(log n)であることが示され、効率的な学習と最小限の regret 増加が保証される。
• regret 界はChernoff-Hoeffding集中不等式を用いて導出され、推定報酬の高確率信頼区間が証明される。
• 主な革新点は、順位順序を考慮した信頼区間の使用であり、明示的な調整なしにユーザが正しいチャネルに収束できることを可能にする。