[論文レビュー] Constrained Thompson Sampling for Wireless Link Optimization

Vidit Saxena, Joseph E. Gonzalez+3 more|arXiv (Cornell University)|Feb 28, 2019

Advanced Bandit Algorithms Research参考文献 26被引用数 4

ひとこと要約

本稿では、スループット最大化と確率的遅延制約の両立を図るため、無線リンクレート選択のための制約付きトムソンサンプリング（Con-TS）アルゴリズムを提案する。遅延を高確率線形制約としてモデル化し、LP緩和を用いたベイズ的後方分布サンプリングを適用することで、Con-TSは$O(\sqrt{KT})$の期待制約違反数と$O(\sqrt{KT\log K})$のレグレットを達成し、多様な無線環境においてシミュレーションで最先端のバンディット手法を上回る性能を発揮する。

ABSTRACT

Wireless communication systems operate in complex time-varying environments. Therefore, selecting the optimal configuration parameters in these systems is a challenging problem. For wireless links, \emph{rate selection} is used to select the optimal data transmission rate that maximizes the link throughput subject to an application-defined latency constraint. We model rate selection as a stochastic multi-armed bandit (MAB) problem, where a finite set of transmission rates are modeled as independent bandit arms. For this setup, we propose Con-TS, a novel constrained version of the Thompson sampling algorithm, where the latency requirement is modeled by a high-probability linear constraint. We show that for Con-TS, the expected number of constraint violations over T transmission intervals is upper bounded by O(\sqrt{KT}), where K is the number of available rates. Further, the expected loss in cumulative throughput compared to the optimal rate selection scheme (i.e., the egret is also upper bounded by O(\sqrt{KT \log K}). Through numerical simulations, we demonstrate that Con-TS significantly outperforms state-of-the-art bandit schemes for rate selection.

研究の動機と目的

• アプリケーションレベルの遅延制約を尊重しつつ、無線リンクスループットを最適化する課題に対処すること。
• パケット成功確率に対する確率的線形制約を備えた、レート選択を制約付きマルチアームバンディット問題としてモデル化すること。
• ソフト制約を効率的に処理でき、有限時間性能保証を提供する、新しいトムソンサンプリングに基づくアルゴリズム（Con-TS）を開発すること。
• シミュレーションを通じて、Con-TSがUTS や Con-KL-UCB といった既存のバンディットアルゴリズムよりもスループット-違反比および制約違反回数の両面で優れていることを示すこと。
• 緩和されたナップサック問題としての定式化が、効率的かつ多項式時間で最適化を可能にし、他の無線最適化問題への広範な適用可能性を提供すること。

提案手法

• K 個の送信レートをアームとする確率的マルチアームバンディット問題としてレート選択を定式化する。
• 遅延制約をパケット成功確率に対する高確率線形制約としてモデル化し、最低限の信頼性水準を確保する。
• 問題のナップサック定式化に対して線形計画法の緩和を適用し、実行可能方策の効率的計算を可能にする。
• 後方分布からのサンプリングを実行しながらも、高確率で制約を満たす確率的制約付きトムソンサンプリングの変種（Con-TS）を提案する。
• ベイズ更新を用いて、時間経過に伴い各レートの成功確率およびスループットの推定値を改善する。
• 真のパrameterの事前知識を必要とせず、有限時間におけるレグレットおよび違反バウンドを保証する、事前分布に依存しない設計を統合する。

実験結果

リサーチクエスチョン

• RQ1 確率的線形制約を扱うトムソンサンプリングベースのアルゴリズムは、無線レート選択に効果的に適応可能か？
• RQ2 遅延制約付きマルチアームバンディット設定において、制約違反およびレグレットの有限時間性能バウンドは何か？
• RQ3 スループットおよび制約準拠性の観点から、Con-TS は UTS や Con-KL-UCB といった最先端のバンディットアルゴリズムと比べてどのように差をつけるか？
• RQ4 どの無線伝搬環境においても、Con-TS は優れたロバストネスと性能を示すか？
• RQ5 LP緩和を用いたナップサック定式化は、遅延制約付きレート選択問題のモデル化と効率的解法に有効に利用可能か？

主な発見

• Con-TS は、T 個の送信インターバルにわたる期待累積制約違反数に対して、上界 $O(\sqrt{KT})$ を達成する。
• Con-TS の期待レグレットは $O(\sqrt{KT\log K})$ でバウンドされ、最適レート方策への強い収束を示す。
• 段階的（Gradual）、損失のある（Lossy）、線形（Linear）WiFi 環境において、Con-TS は次に優れたアルゴリズムである UTS よりも約2倍のスループット-違反比を達成する。
• 段階的環境では、Con-TS は競合アルゴリズムの半分未満の累積制約違反数を蓄積し、強い制約遵守性を示す。
• 急激な環境（Steep）では、成功確率が高いため制約が自明に満たされるが、Con-TS は UTS や Con-KL-UCB と同等の性能を示し、いずれも低い違反回数を達成する。
• Con-TS はすべてのシナリオにおいて一貫して低い制約違反数を維持するが、制約なしのUTS は非自明な環境では線形の違反率を示す。