[논문 리뷰] The on-line shortest path problem under partial monitoring

András György, Tamás Linder외 2명|ArXiv.org|2007. 04. 08.

Advanced Bandit Algorithms Research참고 문헌 28인용 수 158

한 줄 요약

이 논문은 선택된 경로의 총 손실만 공개되는 부분 모니터링 하에서 최단 경로 문제를 위한 효율적인 온라인 알고리즘을 제안한다. 최적의 고정 경로에 대해 O(1/√n)의 리그레트 한계를 달성하며, 그래프 크기에 대해 다항식적 의존성을 가지며, 레이블 효율적이고 시간에 따라 변화하는 경로 설정으로 확장 가능하다. 이는 시뮬레이션과 이론적으로 이전 방법보다 뛰어난 성능을 보인다.

ABSTRACT

The on-line shortest path problem is considered under various models of partial monitoring. Given a weighted directed acyclic graph whose edge weights can change in an arbitrary (adversarial) way, a decision maker has to choose in each round of a game a path between two distinguished vertices such that the loss of the chosen path (defined as the sum of the weights of its composing edges) be as small as possible. In a setting generalizing the multi-armed bandit problem, after choosing a path, the decision maker learns only the weights of those edges that belong to the chosen path. For this problem, an algorithm is given whose average cumulative loss in n rounds exceeds that of the best path, matched off-line to the entire sequence of the edge weights, by a quantity that is proportional to 1/\sqrt{n} and depends only polynomially on the number of edges of the graph. The algorithm can be implemented with linear complexity in the number of rounds n and in the number of edges. An extension to the so-called label efficient setting is also given, in which the decision maker is informed about the weights of the edges corresponding to the chosen path at a total of m << n time instances. Another extension is shown where the decision maker competes against a time-varying path, a generalization of the problem of tracking the best expert. A version of the multi-armed bandit setting for shortest path is also discussed where the decision maker learns only the total weight of the chosen path but not the weights of the individual edges on the path. Applications to routing in packet switched networks along with simulation results are also presented.

연구 동기 및 목표

• 각 결정 이후 선택된 경로의 경로 수준 손실만 공개되는 제한된 피드백 환경에서 온라인 최단 경로 문제를 다루는 것.
• 개별 간선 가중치가 관측되지 않더라도 간선 수에 대해 최소한의 의존성을 가지며 하위선형 리그레트를 달성하는 알고리즘을 개발하는 것.
• 피드백이 m < n 개의 시간 인스턴스로 제한된 레이블 효율적 설정으로 프레임워크를 확장하는 것.
• 최적 경로가 시간에 따라 변화할 수 있는 상황에서, 경로의 변화가 하위선형일 경우를 다루는 것.
• 공격 환경에서 강력한 이론적 보장을 갖는 실용적인 알고리즘을 제공하는 것, 선형 시간 복잡도를 갖는다.

제안 방법

• 경로 공간을 표현하기 위해 경로의 기저를 사용하여, 온라인 볼록 최적화를 통한 효율적 계산과 리그레트 분석이 가능하도록 한다.
• 부분 피드백을 다루기 위해 철저히 설계된 손실 추정 기법을 적용한 수정된 지수 가중 전략을 적용한다.
• 리그레트 분석은 누적 손실이 기대값에서 벗어나지 않도록 제한하기 위해 마팅갈 차이에 대한 버니스타인 부등식을 기반으로 한다.
• 레이블 효율적 설정에서는 피드백이 m번의 시간에만 발생하므로, 알고리즘이 이를 반영하여 추정치를 업데이트하며, 피드백 빈도에 대해 O(√(ln N / m)) 의존성을 유지하면서도 O(1/√n) 리그레트를 달성한다.
• 제한된 피드백 모델에서는 오직 총 경로 손실만 공개되며, 알고리즘은 O(n^{-1/3}) 리그레트를 달성하는 경로-밴딧 접근법을 사용한다. 이는 이전 방법보다 간단한 설계를 제공한다.
• 알고리즘은 라운드 수와 간선 수에 대해 선형 복잡도로 구현되어 있어, 큰 그래프에 대해서도 확장 가능하다.

실험 결과

연구 질문

• RQ1 선택된 경로의 총 손실만 공개되고 개별 간선 가중치가 관측되지 않을 경우, 온라인 최단 경로 알고리즘이 O(1/√n) 리그레트를 달성할 수 있는가?
• RQ2 피드백이 m < n 개의 시간 인스턴스로 제한된 레이블 효율적 설정에서도 O(1/√n) 리그레트를 유지할 수 있는가?
• RQ3 최적 경로가 시간에 따라 변화할 수 있는 상황에서, 최적 경로의 변화가 하위선형일 경우 알고리즘이 효과적으로 경쟁할 수 있는가?
• RQ4 기존 방법과 비교해 본다면, 제안된 알고리즘의 리그레트 비율과 계산 복잡도는 어떻게 되는가?
• RQ5 알고리즘을 매개변수 조정에 민감하지 않게 만들 수 있는가? 오프라인 최적화가 필요 없도록 하는가?

주요 결과

• 알고리즘은 최적의 고정 경로에 대해 O(1/√n) 리그레트를 달성하며, 리그레트가 간선 수에 대해 다항식적으로 증가하며 지수적으로 증가하지는 않는다.
• 레이블 효율적 설정에서는 리그레트가 O(√(ln N / m)) 스케일링되며, 알려진 이론적 한계와 일치하며 효율적인 피드백 사용이 가능하다.
• 시뮬레이션에서 아워베르크와 클라인베르그의 방법보다 성능이 뛰어나며, 오프라인 매개변수 조정 없이도 강건성을 보여준다.
• 제한된 피드백 모델(오직 총 경로 손실만 공개)에서는 O(n^{-1/3}) 리그레트를 달성하며, 이는 이전에 알려진 최고의 결과와 일치하지만 더 단순한 설계를 제공한다.
• 시뮬레이션 결과는 알고리즘의 정규화된 리그레트가 예측된 비율로 0으로 수렴하며, 고정 경로 기반 알고리즘보다 일관되게 뛰어난 성능을 보임을 확인한다.
• 알고리즘은 라운드 수와 간선 수에 대해 선형 시간 복잡도를 유지하므로, 동적 네트워크 라우팅과 같은 대규모 응용 분야에 실용적이다.