[논문 리뷰] Learning to Route Efficiently with End-to-End Feedback: The Value of Networked Structure

Ruihao Zhu, Eytan Modiano|arXiv (Cornell University)|2018. 10. 24.

Advanced Bandit Algorithms Research참고 문헌 31인용 수 3

한 줄 요약

이 논문은 종단 간 피드백을 갖는 확률적 온라인 최단경로 문제에 대해 적응형 라우팅 알고리즘을 제안하며, 네트워크 구조를 활용하여 거의 최적의 회귀를 달성한다. Top-Two Comparison (TTC) 기법을 도입함으로써 대규모 네트워크에서 탐색과 이용의 균형을 효과적으로 유지하며, 이전 방법들보다 회귀와 계산 효율성 측면에서 뛰어나다.

ABSTRACT

We introduce efficient algorithms which achieve nearly optimal regrets for the problem of stochastic online shortest path routing with end-to-end feedback. The setting is a natural application of the combinatorial stochastic bandits problem, a special case of the linear stochastic bandits problem. We show how the difficulties posed by the large scale action set can be overcome by the networked structure of the action set. Our approach presents a novel connection between bandit learning and shortest path algorithms. Our main contribution is an adaptive exploration algorithm with nearly optimal instance-dependent regret for any directed acyclic network. We then modify it so that nearly optimal worst case regret is achieved simultaneously. Driven by the carefully designed Top-Two Comparison (TTC) technique, the algorithms are efficiently implementable. We further conduct extensive numerical experiments to show that our proposed algorithms not only achieve superior regret performances, but also reduce the runtime drastically.

연구 동기 및 목표

• 알 수 없는 확률적 변화를 보이는 링크 지연과 종단 간 피드백만을 갖는 네트워크에서 온라인 최단경로 라우팅의 과제를 해결한다.
• 기존의 밴딧 알고리즘이 지수적으로 많은 경로를 가진 대규모 네트워크에서 계산적으로 비현실적인 문제를 해결한다.
• 행동 집합의 네트워크화된 구조를 활용하여 탐색 복잡도를 감소시키는 회귀 최적 알고리즘을 개발한다.
• 적응형 탐색을 통해 거의 최적의 인스턴스에 의존하는 회귀와 최악의 경우 회귀를 동시에 달성한다.
• 대규모 오버레이 네트워크에서 실시간 구현에 적합한 계산 효율적인 알고리즘을 설계한다.

제안 방법

• 식별 가능한 네트워크를 위한 EC 알고리즘을 도입하며, 적응형 탐색을 이끄는 새로운 Top-Two Comparison (TTC) 메커니즘을 사용한다.
• 행동 집합(방향 비순환 그래프 내 경로)의 네트워크화된 구조를 활용하여 브루트 포스 경로 열거를 피하고 계산 비용을 감소시킨다.
• 동적 상위 후보 경로 비교를 통해 거의 최적의 인스턴스에 의존하는 회귀를 달성하는 적응형 TTC 알고리즘을 설계한다.
• MTTC 알고리즘으로 TTC 프레임워크를 확장하여 동시에 거의 최적의 최악의 경우 회귀를 달성한다.
• 경로 지연의 선형 구조(링크 지연의 합)를 활용하여 문제를 밴딧 피드백이 있는 조합적 확률적 밴딧 문제로 모델링한다.
• 종단 간 피드백에 기반한 경로 지연에 대한 신뢰구간을 통해 불확실성에 대한 낙관주의 원칙(Optimism-in-the-Face-of-Uncertainty, OFU)을 적용한다.

실험 결과

연구 질문

• RQ1 대규모 확률적 온라인 최단경로 문제에서 네트워크 구조를 활용하여 효율적인 회귀 최적 라우팅 알고리즘을 설계할 수 있는가?
• RQ2 개별 링크 지연 관측 없이 종단 간 피드백만으로 적응형 탐색을 어떻게 달성할 수 있는가?
• RQ3 밴딧 피드백 환경에서 거의 최적의 인스턴스에 의존하는 회귀와 최악의 경우 회귀를 동시에 달성할 수 있는가?
• RQ4 지수적으로 많은 경로를 가진 네트워크에서 최적의 회귀를 달성하는 데 드는 계산 비용은 얼마인가?
• RQ5 TTC 기법은 표준 UCB나 경로 선택에서의 완전한 검색에 비해 회귀와 런타임에 어떤 개선을 이룬다?

주요 결과

• 제안된 TTC 기반 알고리즘은 임의의 방향 비순환 네트워크에서 거의 최적의 인스턴스에 의존하는 회귀를 달성하며, 이전 방법들보다 크게 향상된다.
• MTTC 알고리즘은 인스턴스에 의존하는 회귀와 동시에 거의 최적의 최악의 경우 회귀를 달성하여 이전 연구의 핵심 한계를 해결한다.
• Top-Two Comparison (TTC) 기법 덕분에 알고리즘이 효율적으로 구현 가능하며, NP-완전 최적화 문제를 피한다.
• 수치 실험 결과, 제안된 알고리즘은 기존 방법들에 비해 런타임을 크게 감소시키며 더 뛰어난 회귀 성능을 달성한다.
• 행동 집합의 네트워크화된 구조 덕분에 확장 가능한 학습이 가능하여, 숨겨진 링크 지연을 가진 대규모 오버레이 네트워크에 실용적이다.
• 지수적으로 많은 경로를 가진 네트워크에서 경로 수에 선형적으로 증가하는 UCB 기반 접근법에 비해 성능이 뛰어나다.