[논문 리뷰] Constrained Thompson Sampling for Wireless Link Optimization

Vidit Saxena, Joseph E. Gonzalez외 3명|arXiv (Cornell University)|2019. 02. 28.

Advanced Bandit Algorithms Research참고 문헌 26인용 수 4

한 줄 요약

이 논문은 유비쿼터스 환경에서의 무선 링크 속도 선택을 위한 제약 조건이 있는 톰슨 샘플링 알고리즘인 Con-TS를 제안한다. 이 알고리즘은 성능 최적화와 확률적 지연 제약 조건 간의 균형을 이루며, 지연을 고확률 선형 제약 조건으로 모델링하고 베이지안 사후 분포 샘플링과 선형계획법(LP) 근사를 사용한다. Con-TS는 $O(\sqrt{KT})$의 기대 제약 위반 수와 $O(\sqrt{KT\log K})$의 기대 손실을 달성하여 다양한 무선 환경에서 시뮬레이션을 통해 최신 기술 대비 뛰어난 성능을 보였다.

ABSTRACT

Wireless communication systems operate in complex time-varying environments. Therefore, selecting the optimal configuration parameters in these systems is a challenging problem. For wireless links, \emph{rate selection} is used to select the optimal data transmission rate that maximizes the link throughput subject to an application-defined latency constraint. We model rate selection as a stochastic multi-armed bandit (MAB) problem, where a finite set of transmission rates are modeled as independent bandit arms. For this setup, we propose Con-TS, a novel constrained version of the Thompson sampling algorithm, where the latency requirement is modeled by a high-probability linear constraint. We show that for Con-TS, the expected number of constraint violations over T transmission intervals is upper bounded by O(\sqrt{KT}), where K is the number of available rates. Further, the expected loss in cumulative throughput compared to the optimal rate selection scheme (i.e., the egret is also upper bounded by O(\sqrt{KT \log K}). Through numerical simulations, we demonstrate that Con-TS significantly outperforms state-of-the-art bandit schemes for rate selection.

연구 동기 및 목표

• 응용 프로그램 수준의 지연 제약 조건을 고려하면서도 무선 링크 성능을 최적화하는 문제에 대응하기 위해.
• 패킷 성공률에 대한 확률적 선형 제약 조건이 있는 제약 조건이 있는 다손단 밴드잇 문제로 속도 선택을 모델링하기 위해.
• 부드러운 제약 조건을 효율적으로 처리하고 유한 시간 성능 보장을 제공하는 새로운 톰슨 샘플링 기반 알고리즘(Con-TS)을 개발하기 위해.
• 시뮬레이션을 통해 Con-TS가 UTS 및 Con-KL-UCB와 같은 기존 밴드잇 알고리즘보다 성능-위반 비율과 제약 위반 횟수 측면에서 뛰어나다는 것을 입증하기 위해.
• 이완된 배낭 문제로의 공식화가 효율적인 다항 시간 최적화와 다른 무선 최적화 문제에 대한 광범위한 적용 가능성을 가능하게 한다는 것을 보여주기 위해.

제안 방법

• K개의 전송 속도를 암수로 사용하는 스토케스틱 다손단 밴드잇 문제로 속도 선택을 공식화하기 위해.
• 지연 제약 조건을 패킷 성공률에 대한 고확률 선형 제약 조건으로 모델링하여 최소 수용 가능한 신뢰성 수준을 보장하기 위해.
• 문제의 배낭 공식화에 대해 선형계획법(LP) 근사를 적용하여 타당 정책의 효율적 계산을 가능하게 하기 위해.
• 사후 분포에서 샘플링하면서도 고확률로 제약 조건을 준수하는 톰슨 샘플링의 확률적 제약 조건 버전인 Con-TS를 제안하기 위해.
• 시간이 지남에 따라 각 속도의 성공 확률과 성능에 대한 추정치를 베이지안 업데이트를 통해 정교화하기 위해.
• 진짜 매개변수에 대한 사전 지식이 필요 없이도 유한 시간 손실 및 위반 한계를 보장하는 사전 독립적 설계를 통합하기 위해.

실험 결과

연구 질문

• RQ1 확률적 선형 제약 조건을 다루는 데 효과적으로 적응된 톰슨 샘플링 기반 알고리즘이 무선 속도 선택에 적용될 수 있는가?
• RQ2 지연 제약 조건이 있는 다손단 밴드잇 환경에서 제약 위반과 손실의 유한 시간 성능 한계는 무엇인가?
• RQ3 Con-TS는 UTS 및 Con-KL-UCB와 같은 최신 기술 밴드잇 알고리즘과 비교해 성능과 제약 준수 측면에서 어떻게 다른가?
• RQ4 Con-TS는 어떤 무선 전파 환경에서 뛰어난 강건성과 성능를 보여주는가?
• RQ5 LP 근사를 사용하는 배낭 공식화가 지연 제약 조건이 있는 속도 선택 문제의 모델링과 해결에 효과적으로 사용될 수 있는가?

주요 결과

• Con-TS는 $T$개의 전송 간격 동안 기대 누적 제약 위반 수에 대해 $O(\sqrt{KT})$의 상한을 달성한다.
• Con-TS의 기대 손실은 $O(\sqrt{KT\log K})$로 제한되며, 이는 최적의 속도 정책으로의 강력한 수렴을 나타낸다.
• 점진적(Gradual), 손실이 있는(Lossy), 선형적(Linear) WiFi 환경에서 Con-TS는 다음으로 우수한 알고리즘인 UTS에 비해 약 두 배의 성능-위반 비율을 달성한다.
• 점진적 환경에서 Con-TS는 경쟁 알고리즘보다 누적 제약 위반 수의 절반 미만을 누적하며, 강력한 제약 준수를 보여준다.
• 급격한(Steep) 환경에서는 높은 성공 확률로 인해 제약 조건이 자명하게 만족되므로 Con-TS는 UTS 및 Con-KL-UCB와 유사한 성능을 보이며, 세 알고리즘이 모두 낮은 위반 수를 기록한다.
• 모든 시나리오에서 Con-TS는 지속적으로 낮은 제약 위반 수를 유지하는 반면, 제약 조건이 없는 UTS는 비트리뷰얼 환경에서 선형 위반률을 보이다.