[논문 리뷰] Aging Bandits: Regret Analysis and Order-Optimal Learning Algorithm for Wireless Networks with Stochastic Arrivals

Eray Unsal Atay, Igor Kadota외 1명|arXiv (Cornell University)|2020. 12. 15.

Age of Information Optimization인용 수 10

한 줄 요약

이 논문은 채널 신뢰도가 알려져 있지 않은 무선 네트워크에서 연령 대기 문제(Aging Bandit problem)를 제안하며, 학습 알고리즘이 소스-채널 쌍을 스케줄링하여 정보 연령(AoI)을 최소화한다. 기존의 다중 손실대비 기반 알고리즘(예: UCB, 톰슨 샘플링)이 Θ(log T)의 연령 대기 퇴보(regret)를 보이는 데 반해, 이 논문은 O(1)의 유한한 퇴보를 달성하는 새로운 학습 알고리즘을 제안한다. 이는 확률적 도착 조건 하에서 정보 연령 최소화 문제에 있어 처음으로 순서 최적(O(1) 퇴보)를 달성하는 알고리즘이다.

ABSTRACT

We consider a single-hop wireless network with sources transmitting time-sensitive information to the destination over multiple unreliable channels. Packets from each source are generated according to a stochastic process with known statistics and the state of each wireless channel (ON/OFF) varies according to a stochastic process with unknown statistics. The reliability of the wireless channels is to be learned through observation. At every time slot, the learning algorithm selects a single pair (source, channel) and the selected source attempts to transmit its packet via the selected channel. The probability of a successful transmission to the destination depends on the reliability of the selected channel. The goal of the learning algorithm is to minimize the Age-of-Information (AoI) in the network over $T$ time slots. To analyze the performance of the learning algorithm, we introduce the notion of AoI regret, which is the difference between the expected cumulative AoI of the learning algorithm under consideration and the expected cumulative AoI of a genie algorithm that knows the reliability of the channels a priori. The AoI regret captures the penalty incurred by having to learn the statistics of the channels over the $T$ time slots. The results are two-fold: first, we consider learning algorithms that employ well-known solutions to the stochastic multi-armed bandit problem (such as $\\epsilon$-Greedy, Upper Confidence Bound, and Thompson Sampling) and show that their AoI regret scales as $\\Theta(\\log T)$; second, we develop a novel learning algorithm and show that it has $O(1)$ regret. To the best of our knowledge, this is the first learning algorithm with bounded AoI regret.

연구 동기 및 목표

• 스토케스틱 패킷 도착과 신뢰도가 알려져 있지 않은 불안정한 채널을 가진 단일 홉 무선 네트워크에서 정보 연령(AoI)을 최소화하는 문제를 해결하기 위해.
• 스케줄링 문제를 역사에 의존하는 정보 연령 감소에 기반한 새로운 확률적 다중 손실대비 기반 문제인 'Aging Bandits'로 모델링하기 위해.
• 학습 정책의 누적 정보 연령 편차를 지네 정책(Genie-aided optimal policy)의 것과 비교하여 학습 알고리즘의 퇴보(regret)를 분석하기 위해.
• 기존의 다중 손실대비 정책들이 보이는 로그 스케일 퇴보와는 대조적으로, 유한한(즉, O(1)) 정보 연령 퇴보를 달성하는 새로운 학습 알고리즘을 설계하기 위해.
• 모의 실험을 통해 제안된 알고리즘이 더 빠르게 수렴하고, 특히 높은 트래픽(큰 λ) 조건에서 더 낮은 퇴보를 유지함을 보여주기 위해.

제안 방법

• 보내는 소스의 현재 정보 연령과 채널 신뢰도에 따라 성공적인 전송로 인한 정보 연령 감소량이 보상이 되는 Aging Bandit 문제로 문제를 수리적으로 정의한다.
• 정보 연령 퇴보(AoI regret)를 학습 정책의 예상 누적 정보 연령과 채널 신뢰도를 모두 알고 있는 지네 정책의 예상 누적 정보 연령 간의 차이로 정의한다.
• 표준 다중 손실대비 기반 정책(ε-그리디, 상한 신뢰도(UCB), 톰슨 샘플링(TS))를 정보 연령 맥락에 적응시키며, 이들의 정보 연령 퇴보가 Θ(log T)로 증가함을 증명한다.
• 채널 신뢰도 추정치와 현재 정보 연령에 기반해 소스-채널 쌍을 동적으로 선택하는 새로운 학습 알고리즘인 최적 정책(Optimal policy)을 제안하며, 이는 유한한 퇴보를 보장한다.
• 초기 학습 단계(10⁴ 슬롯)에는 톰슨 샘플링을 사용하고 이후에는 최적 정책으로 전환하는 하이브리드 정책(Hybrid policy)을 설계하여 고속도 트래픽 조건에서 수렴 속도를 향상시킨다.
• M=3개의 소스, N=5개의 채널, 다양한 패킷 생성률(λ=0.1 및 λ=0.75)을 가진 모의 실험을 통해 T=10⁵ 슬롯 동안 퇴보와 채널 신뢰도 추정 정확도를 평가한다.

실험 결과

연구 질문

• RQ1 기존의 다중 손실대비 알고리즘(ε-그리디, UCB, TS)은 역사에 의존하는 보상 조건 하에서 정보 연령 최소화 문제에서 유한한 퇴보를 달성할 수 있는가?
• RQ2 스토케스틱 도착 조건과 알려지지 않은 채널 신뢰도를 가진 무선 네트워크에서 학습 알고리즘의 기본적인 퇴보 스케일링은 어떠한가?
• RQ3 기존의 로그 스케일 퇴보 대신 O(1)의 유한한 정보 연령 퇴보를 달성할 수 있는 새로운 학습 알고리즘을 설계할 수 있는가?
• RQ4 높은 소스 트래픽(큰 λ) 조건에서 제안된 최적 정책의 성능은 어떻게 저하되며, 이를 완화할 수 있는가?
• RQ5 톰슨 샘플링과 장기 최적 정책을 조합한 하이브리드 접근법이 실제 적용에서 더 빠른 수렴과 낮은 퇴보를 제공하는가?

주요 결과

• 표준 다중 손실대비 기반 정책(ε-그리디, UCB, TS)의 정보 연령 퇴보는 Θ(log T)로 증가함을 확인하였으며, 이는 기존 다중 손실대비 맥락에서는 순서 최적성을 보이지만, 정보 연령 맥락에서는 그렇지 않음을 시사한다.
• 제안된 최적 학습 알고리즘이 O(1)의 정보 연령 퇴보를 달성함으로써, 확률적 도착 조건 하에서 정보 연령 최소화 문제에 있어 처음으로 유한한 퇴보를 보이는 알려진 학습 알고리즘이다.
• T=10⁵일 때, λ가 0.1에서 0.75로 증가함에 따라 최적 정책의 정보 연령 퇴보가 491.0배 증가함을 관찰하였으며, 이는 고속도 트래픽 환경에서 학습 속도 저하 때문이었다.
• 초기 10⁴ 슬롯 동안 톰슨 샘플링을 사용하고 이후 최적 정책으로 전환하는 하이브리드 정책은 고속도 트래픽 조건에서 최적 정책 단독 사용 대비 학습 속도를 크게 향상시키고 퇴보를 감소시킴을 확인하였다.
• 모의 실험 결과, 최적 정책이 장기간에 걸쳐 열악한 채널에 대해 높은 추정 신뢰도를 할당하는 경향이 있어, 특히 λ가 클 경우 높은 퇴보를 초래할 수 있음을 확인하였다.
• 제안된 최적 정책는 충분히 긴 T 기간 동안 진정된 채널 신뢰도에 수렴하며, 이후 정보 연령 퇴보가 더 이상 증가하지 않음을 확인함으로써 이론적으로 O(1)의 상한이 성립함을 입증하였다.