[논문 리뷰] Adaptive Shortest-Path Routing under Unknown and Stochastically Varying Link States

Keqin Liu, Qing Zhao|arXiv (Cornell University)|2012. 01. 24.

Advanced Bandit Algorithms Research참고 문헌 13인용 수 32

한 줄 요약

이 논문은 링크 상태가 알려져 있지 않고 확률적으로 변동하는 무선 네트워크를 대상으로, 총 경로 비용만 관측 가능한 적응형 최단경로 라우팅 알고리즘을 제안한다. 문제를 서로 링크를 공유하는 경로(팔레트)를 가진 다익명 밴딧 문제로 모델링함으로써, 경량 꼬리 분포에 대해 $ O(d^3 \tan T) $의 정규화 오차를 달성하고, 무거운 꼬리 분포에 대해서는 $ O(dT^{1/q}) $를 달성하여, 경로 간 의존성을 활용함으로써 기존 MAB의 지수적 네트워크 크기 스케일링을 다항식 스케일링으로 개선한다.

ABSTRACT

We consider the adaptive shortest-path routing problem in wireless networks under unknown and stochastically varying link states. In this problem, we aim to optimize the quality of communication between a source and a destination through adaptive path selection. Due to the randomness and uncertainties in the network dynamics, the quality of each link varies over time according to a stochastic process with unknown distributions. After a path is selected for communication, the aggregated quality of all links on this path (e.g., total path delay) is observed. The quality of each individual link is not observable. We formulate this problem as a multi-armed bandit with dependent arms. We show that by exploiting arm dependencies, a regret polynomial with network size can be achieved while maintaining the optimal logarithmic order with time. This is in sharp contrast with the exponential regret order with network size offered by a direct application of the classic MAB policies that ignore arm dependencies. Furthermore, our results are obtained under a general model of link-quality distributions (including heavy-tailed distributions) and find applications in cognitive radio and ad hoc networks with unknown and dynamic communication environments.

연구 동기 및 목표

• 알려지지 않은 확률적으로 변동하는 링크 상태를 가진 네트워크에서 효율적인 온라인 학습 정책을 설계하기 위해.
• 전체 종단 간 경로 비용만 관측 가능할 때 발생하는 과제를 해결하기 위해.
• 시간 수평과 네트워크 크기 양면에서 정규화 오차를 최소화하기 위해, 특히 공유 링크를 통해 경로 간 의존성을 활용하기 위해.
• 콤���트 행동 집합을 가진 일반적인 확률적 온라인 선형 최적화 문제로 결과를 확장하기 위해.
• 시간에 대해 비선형 정규화 오차를 달성하면서도 네트워크 크기와 다항식 스케일링을 유지함으로써, 무거운 꼬리 분포 하에서도 성능을 유지를 위해.

제안 방법

• 각 팔레트가 소스-대상 경로에 대응하는 의존적 팔을 가진 다익명 밴딧 문제로 적응형 라우팅 문제를 수식화한다.
• 탐색과 이용의 균형을 이루기 위해 기하급수적으로 증가하는 에포크 길이를 가진 에포크 기반 구조를 사용한다.
• 과거 관측 수가 임계값에 비해 작을 때의 시간 슬롯을 포함하는 탐색 순서를 구성함으로써 각 경로의 충분한 샘플링을 보장한다.
• 예측된 경로 비용을 추정하고 신뢰 구간을 기반으로 행동을 선택하기 위해 DSEE(Dual Search with Exploration and Exploitation) 프레임워크를 적용한다.
• 무거운 꼬리 분포의 경우, [6]에서 제시한 편차 bound를 사용하여 추정 오차를 통제하고, moment order $ q $에 따라 정규화 오차 bound를 유도한다.
• 각 에포크 내에서 최단경로 계산을 적용하여, 일반적인 확률적 온라인 선형 최적화(SOLO) 문제로 접근을 일반화한다.

실험 결과

연구 질문

• RQ1 알려지지 않은 확률적 링크 상태 하에서, 시간에 대해 로그 스케일링을 유지하면서 네트워크 크기에 대해 다항식 스케일링을 달성할 수 있는가?
• RQ2 공유 링크를 통해 경로 간 의존성을 어떻게 활용하여 고전적 다익명 밴딧 정책을 초월한 학습 효율성을 향상시킬 수 있는가?
• RQ3 높은 모멘트가 제한된 경우, 무거운 꼬리 링크 비용 분포 하에서 달성 가능한 정규화 오차 경계는 무엇인가?
• RQ4 제안된 프레임워크는 연속 행동 집합을 가진 더 넓은 범위의 확률적 온라인 선형 최적화 문제로 일반화될 수 있는가?
• RQ5 정규화 오차의 네트워크 크기 스케일링과 시간 수평 스케일링 사이의 성능 트레이드오프는 무엇이며, 어떻게 제어할 수 있는가?

주요 결과

• 제안된 알고리즘은 경로 집합의 차원 $ d $와 시간 수평 $ T $를 고려할 때, 경량 꼬리 링크 비용 분포 하에서 $ O(d^3 \tan T) $의 정규화 오차를 달성한다.
• 탐색 순서를 수정함으로써 정규화 오차를 $ d $에 대해 선형으로 줄일 수 있으나, 시간 스케일링이 약간 악화되는 대가를 지ay며, 네트워크 크기와 시간 수평 성능 간의 트레이드오프를 가능하게 한다.
• 모멘트 순서 $ q $를 가진 무거운 꼬리 분포($ q > 1 $) 하에서는 정규화 오차가 $ O(dT^{1/q}) $ 이하로 제한되며, 이는 시간에 대해 비선형이고, 따라서 시간 평균 비용이 최적 경로 비용으로 수렴함을 의미한다.
• 네트워크 크기 스케일링이 고전적 MAB 정책이 경로 의존성을 忽시할 경우의 지수적 스케일링과는 대조적으로 다항식 스케일링임을 확인한다.
• SOLO 문제로의 일반화를 통해, 경량 꼬리 비용 하에서 $ O(d^3 T^{2/3} \tan^{1/3} T) $의 정규화 오차를 달성한다.
• 결과는 일반적인 비용 분포, 특히 무거운 꼬리 분포에도 적용 가능하며, 동적이고 알려지지 않은 채널 조건을 가진 인지 무선 및 애드혹 네트워크에 적용 가능하다.