[논문 리뷰] Faster Activity and Data Detection in Massive Random Access: A Multi-armed Bandit Approach

Jialin Dong, Jun Zhang외 2명|arXiv (Cornell University)|2020. 01. 28.

Advanced Bandit Algorithms Research인용 수 9

한 줄 요약

이 논문은 인터넷 오브 things(IoT)에서 무단 접근(grant-free)의 공동 장치 활성화 탐지 및 데이터 복원을 가속화하기 위해 다수의 손잡이 띠드(MAB) 기반의 좌표 하강 프레임워크를 제안한다. 무작위 좌표 선택 대신 톰슨 샘플링과 베르누이 샘플링 전략을 도입함으로써, 최신 기술 대비 더 빠른 수렴 속도와 낮은 시간 복잡도를 달성하였으며, 이론적 리그레트 한계와 저해상도 ADC 시나리오에서의 실증적 검증을 통해 검증되었다.

ABSTRACT

This paper investigates the grant-free random access with massive IoT devices. By embedding the data symbols in the signature sequences, joint device activity detection and data decoding can be achieved, which, however, significantly increases the computational complexity. Coordinate descent algorithms that enjoy a low per-iteration complexity have been employed to solve the detection problem, but previous works typically employ a random coordinate selection policy which leads to slow convergence. In this paper, we develop multi-armed bandit approaches for more efficient detection via coordinate descent, which make a delicate trade-off between exploration and exploitation in coordinate selection. Specifically, we first propose a bandit based strategy, i.e., Bernoulli sampling, to speed up the convergence rate of coordinate descent, by learning which coordinates will result in more aggressive descent of the objective function. To further improve the convergence rate, an inner multi-armed bandit problem is established to learn the exploration policy of Bernoulli sampling. Both convergence rate analysis and simulation results are provided to show that the proposed bandit based algorithms enjoy faster convergence rates with a lower time complexity compared with the state-of-the-art algorithm. Furthermore, our proposed algorithms are applicable to different scenarios, e.g., massive random access with low-precision analog-to-digital converters (ADCs).

연구 동기 및 목표

• 대규모 무단 접근에서 무작위 좌표 선택으로 인한 공동 장치 활성화 및 데이터 탐지의 좌표 하강 수렴 속도 저하 문제를 해결한다.
• 간헐적인 트래픽을 갖는 대규모 IoT 장치로 인한 고차원 탐지 문제에서의 계산 복잡도를 감소시킨다.
• 수렴 속도를 가속화하기 위해 탐색과 이용의 균형을 이루는 적응형 좌표 선택 전략을 개발한다.
• 저해상도 아날로그-디지털 변환기(ADC)를 갖는 시스템을 포함한 다양한 시나리오에 적용 가능하도록 보장한다.
• 제안된 밴딧 기반 알고리즘의 엄밀한 리그레트 분석을 제공하여 이론적 수렴 보장을 확립한다.

제안 방법

• 좌표 하강에서 베르누이 샘플링을 위한 탐색 정책을 학습하기 위해 내부 다수의 손잡이 띠드(MAB) 문제를 도입한다.
• 불확실성 있는 좌표 선택을 모델링하기 위해 베타 분포 사전을 사용한 톰슨 샘플링을 적용하여 적응형 탐색-이용 균형을 실현한다.
• 목적 함수의 감소를 기반으로 보상 함수를 정의하며, 잔차 감소 비율과 정규화 인자 비율을 사용해 선택을 안내한다.
• 최적의 좌표가 연속으로 재생되는 데 걸리는 평균 단계 수를 근사하기 위해 기하 분포 랜덤 변수를 적용한다.
• 농도 불확실성과 포화된 암을 분리하여 기여도를 분석하고, 농도 부등식과 베타 분포의 누적분포함수(CDF)를 사용해 리그레트 한계를 유도한다.
• 목적 함수의 기대 리그레트를 $ O\left(\left(\sum_{b=2}^{q}\frac{1}{d_b^2}\right)^2 \ln T\right) $ 로 경계하여 이론적 수렴을 확립한다. 여기서 $ d_b $ 는 최적의 암으로부터의 갭이다.

실험 결과

연구 질문

• RQ1 다수의 손잡이 띠드 전략이 공동 장치 활성화 및 데이터 탐지에서 좌표 하강의 수렴 속도를 향상시킬 수 있는가?
• RQ2 비정수 베타 분포 파라미터를 갖는 톰슨 샘플링은 적응형 좌표 선택에서 리그레트 성능에 어떤 영향을 미치는가?
• RQ3 제안된 밴딧 기반 좌표 하강 알고리즘의 이론적 리그레트 한계는 무엇인가?
• RQ4 저해상도 ADC라는 실용적인 제약 조건 하에서도 제안된 방법이 빠른 수렴을 유지할 수 있는가?
• RQ5 적응형 베르누이 샘플링 전략은 시간 복잡도와 수렴 속도 측면에서 무작위 좌표 선택 대비 어떻게 비교되는가?

주요 결과

• 제안된 밴딧 기반 좌표 하강 방법은 목적 함수에서 더 급격한 감소를 유도하는 좌표를 지능적으로 선택함으로써 최신 기술 대비 더 빠른 수렴을 달성한다.
• 이론적 분석 결과 기대 리그레트가 $ O\left(\left(\sum_{b=2}^{q}\frac{1}{d_b^2}\right)^2 \ln T\right) $ 로 스케일링되며, 시간에 따라 다항식 성장보다 느린 하락을 보임을 나타낸다.
• 무작위 좌표 선택을 대체하여 톰슨 샘플링과 베르누이 샘플링을 통한 적응형 탐색을 도입함으로써 시간 복잡도를 감소시켰다.
• 시뮬레이션 결과는 저해상도 ADC 조건에서도 무작위 선택 대비 더 빠른 수렴과 낮은 계산 비용을 확인하였다.
• 내부 MAB 프레임워크는 최적의 탐색 정책을 성공적으로 학습하여 비최적의 암 선택으로 인한 리그레트를 최소화하였다.
• 기존 연구를 확장하여 비정수 파라미터를 갖는 베타 분포를 처리함으로써, 좌표 선택의 불확실성을 더 자연스럽고 일반적인 방식으로 모델링할 수 있게 되었다.