[論文レビュー] Faster Activity and Data Detection in Massive Random Access: A Multi-armed Bandit Approach

Jialin Dong, Jun Zhang+2 more|arXiv (Cornell University)|Jan 28, 2020

Advanced Bandit Algorithms Research被引用数 9

ひとこと要約

本稿では、IoTにおけるグラントフリーなマスィブランダムアクセスにおける連合デバイス活性検出とデータ復号を高速化するため、マルチアームバンディット（MAB）に基づく座標降下フレームワークを提案する。ランダムな座標選択をトムソンサンプリングおよびベルヌーイサンプリング戦略に置き換えることで、最先端の手法と比較して収束速度が向上し、時間計算量も低減される。理論的レギュレートバウンドと低精度ADC環境下での実験的検証が行われている。

ABSTRACT

This paper investigates the grant-free random access with massive IoT devices. By embedding the data symbols in the signature sequences, joint device activity detection and data decoding can be achieved, which, however, significantly increases the computational complexity. Coordinate descent algorithms that enjoy a low per-iteration complexity have been employed to solve the detection problem, but previous works typically employ a random coordinate selection policy which leads to slow convergence. In this paper, we develop multi-armed bandit approaches for more efficient detection via coordinate descent, which make a delicate trade-off between exploration and exploitation in coordinate selection. Specifically, we first propose a bandit based strategy, i.e., Bernoulli sampling, to speed up the convergence rate of coordinate descent, by learning which coordinates will result in more aggressive descent of the objective function. To further improve the convergence rate, an inner multi-armed bandit problem is established to learn the exploration policy of Bernoulli sampling. Both convergence rate analysis and simulation results are provided to show that the proposed bandit based algorithms enjoy faster convergence rates with a lower time complexity compared with the state-of-the-art algorithm. Furthermore, our proposed algorithms are applicable to different scenarios, e.g., massive random access with low-precision analog-to-digital converters (ADCs).

研究の動機と目的

• マスィブなグラントフリーなランダムアクセスにおいて、ランダムな座標選択による座標降下の収束遅延を解消する。
• スパースなトラフィックを示す多数のIoTデバイスに起因する高次元検出問題における計算量を低減する。
• 探索と活用のバランスを取る適応的座標選択戦略を開発し、収束を加速する。
• 低精度アナログ・デジタルコンバータ（ADC）を備えたシステムを含む多様なシナリオへの適用可能性を確保する。
• 提案されたバンディットベースのアルゴリズムのレギュレート解析を厳密に行い、理論的収束保証を確立する。

提案手法

• 座標降下におけるベルヌーイサンプリングのための探索方策を学習するための内部マルチアームバンディット（MAB）問題を導入する。
• 不確実性をモデル化するためのベータ分布を事前分布として用い、トムソンサンプリングにより適応的探索と活用のトレードオフを実現する。
• 目的関数の降下に基づく報酬関数を定義し、残差低減率と正規化係数の比を用いて選択をガイドする。
• 最適な座標の連続的な再生間のステップ数の期待値を、幾何分布近似によりバウンドする。
• 集中不等式およびベータ分布の累積分布関数（CDF）を用いて、未飽和および飽和アームからの寄与を分離し、レギュレートバウンドを導出する。
• 期待レギュレートを $ O\left(\left(\sum_{b=2}^{q}\frac{1}{d_b^2}\right)^2 \ln T\right) $ としてバウンドすることで理論的収束を確立する。ここで $ d_b $ は最適なアームからのギャップを表す。

実験結果

リサーチクエスチョン

• RQ1 マルチアームバンディット戦略は、連合デバイス活性検出とデータ復号における座標降下の収束速度を向上させることができるか？
• RQ2 非整数パラメータを有するベータ分布を用いたトムソンサンプリングは、適応的座標選択におけるレギュレート性能にどのように影響を与えるか？
• RQ3 提案されたバンディットベースの座標降下アルゴリズムの理論的レギュレートバウンドは何か？
• RQ4 実用的なマスィブIoT展開における制約要因である低精度ADC下でも、本手法は高速な収束を維持できるか？
• RQ5 適応的ベルヌーイサンプリング戦略は、ランダムな座標選択と比較して、時間計算量および収束速度においてどのように異なるか？

主な発見

• 提案されたバンディットベースの座標降下法は、目的関数における急な降下をもたらす座標を知的に選択することで、最先端のアルゴリズムと比較してより高速な収束を達成する。
• 理論的解析により、期待レギュレートが $ O\left(\left(\sum_{b=2}^{q}\frac{1}{d_b^2}\right)^2 \ln T\right) $ とスケーリングされることを示し、時間とともに非線形に増加することを示している。
• ランダムな座標選択をトムソンサンプリングおよびベルヌーイサンプリングによる適応的探索に置き換えることで、時間計算量が低減される。
• シミュレーション結果により、低精度ADC下でも、ランダム選択と比較して収束が速く、計算コストが低いことが確認された。
• 内部MABフレームワークは、非最適なアーム選択によるレギュレートを最小限に抑える最適な探索方策を効果的に学習した。
• 非整数パラメータを有するベータ分布の取り扱いを可能にすることで、座標選択における不確実性のより自然で一般的なモデル化が可能となり、先行研究を拡張した。