[논문 리뷰] Testing Indexability and Computing Whittle and Gittins Index in Subcubic Time

Nicolas Gast, Bruno Gaujal외 1명|arXiv (Cornell University)|2022. 03. 10.

Advanced Bandit Algorithms Research인용 수 1

한 줄 요약

이 논문은 급격히 변화하는 다중 암면 뱅게이트 문제에서 윌틀 및 깁틴 지수를 계산하기 위한 최초의 서브큐빅 알고리즘을 제시하며, 샤먼-모리슨 공식과 최적화된 행렬 연산을 사용하여 O(n^2.5286)의 복잡도를 달성한다. 이는 유한 상태 마코프 암면에서 할인 및 할인 없음 설정 모두에서 효율적인 지수 가능성 테스트와 지수 계산을 가능하게 하며, 수천 개 상태에서 몇 초 내로 실용적인 성능을 보인다.

ABSTRACT

Whittle index is a generalization of Gittins index that provides very efficient allocation rules for restless multi-armed bandits. In this work, we develop an algorithm to test the indexability and compute the Whittle indices of any finite-state restless bandit arm. This algorithm works in the discounted and non-discounted cases, and can compute Gittins index. Our algorithm builds on three tools: (1) a careful characterization of Whittle index that allows one to compute recursively the kth smallest index from the $(k - 1)$th smallest, and to test indexability, (2) the use of the Sherman-Morrison formula to make this recursive computation efficient, and (3) a sporadic use of the fastest matrix inversion and multiplication methods to obtain a subcubic complexity. We show that an efficient use of the Sherman-Morrison formula leads to an algorithm that computes Whittle index in $(2/3)n^3 + o(n^3)$ arithmetic operations, where $n$ is the number of states of the arm. The careful use of fast matrix multiplication leads to the first subcubic algorithm to compute Whittle or Gittins index: By using the current fastest matrix multiplication, the theoretical complexity of our algorithm is O(n^2.5286 ). We also develop an efficient implementation of our algorithm that can compute indices of Markov chains with several thousands of states in less than a few seconds.

연구 동기 및 목표

• 급격히 변화하는 밴드잇 문제에서 지수 가능성 테스트와 윌틀 및 깁틴 지수 계산을 위한 효율적인 알고리즘을 개발하는 것.
• 기존 방법의 (2/3)n³ + o(n³) 경계를 뛰어넘는 서브큐빅 시간 복잡도를 달성하여 지수 계산의 복잡도를 낮추는 것.
• 할인 및 할인 없음 설정 모두를 통합하여, 시간 평균 보상 설정까지 포함하는 계산의 통일성 확보.
• 수천 개 상태를 가진 마코프 체인의 지수를 몇 초 내로 실용적으로 계산할 수 있도록 하는 것.
• 제한적인 지수 가능성 조건에 의존하지 않는 강력하고 구현 가능한 프레임워크 제공

제안 방법

• 윌틀 지수의 재귀적 특성화를 활용하여, (k−1)번째 지수에서 k번째로 작은 지수를 순차적으로 계산함으로써 점진적 계산을 가능하게 한다.
• 재귀적 지수 계산 중에 역행렬을 효율적으로 갱신하기 위해 샤먼-모리슨 공식을 적용하여 단계별 비용을 감소시킨다.
• 기존의 전체 행렬 갱신 방식이 아닌, 수평적 갱신 방식(서브루틴 3을 통한)을 도입함으로써 서브큐빅 스케일링을 가능하게 한다.
• 가장 빠른 알려진 행렬 곱셈 알고리즘(예: 코퍼스미스-윈그라드 기반)을 활용하여 이론적 복잡도를 O(n^2.5286)로 달성한다.
• 특히 대규모 상태 시스템에서의 메모리 사용을 최적화하고 중복 계산을 방지하여 구현 시 성능을 향상시킨다.
• 할인 없음 설정을 위해 액티브 우월도 함수와 평균 보상 공식을 적응시켜, 이전의 할인 전용 접근 방식과 다름

실험 결과

연구 질문

• RQ1 기존 방법의 (2/3)n³ + o(n³) 경계를 뛰어넘는 서브큐빅 시간 내에 윌틀 지수 계산이 가능할 수 있는가?
• RQ2 할인 및 할인 없음 설정 모두에서 지수 가능성 테스트와 윌틀 지수 계산을 효율적으로 수행할 수 있는가?
• RQ3 샤먼-모리슨 공식을 활용한 재귀적이고 효율적인 갱신 전략이 서브큐빅 복잡도를 지원할 수 있는가?
• RQ4 빠른 행렬 곱셈이 지수 계산 파이프라인에 효과적으로 통합되어 이론적 서브큐빅 성능을 달성할 수 있는가?
• RQ5 기존의 패스트-피봇팅 및 어댑티브-그리디 알고리즘과 비교해 실용적으로 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 알고리즘은 재귀적 지수 계산과 빠른 행렬 곱셈을 조합하여 O(n^2.5286)의 이론적 시간 복잡도를 달성하며, 윌틀 및 깁틴 지수 계산에 있어 최초의 서브큐빅 알고리즘으로서의 의의를 가진다.
• 표준 행렬 역행렬 계산을 사용할 경우, 윌틀 지수 계산은 (2/3)n³ + o(n³)의 산술 연산으로 수행되며, 이는 기존 최고 성능 방법과 동일한 성능이다.
• 서브루틴 3를 통한 수평 갱신 전략으로 행렬 갱신 방식을 재정의함으로써, 이전 방법이 전체 행렬 갱신에 의존하는 것과 달리 서브큐빅 스케일링이 가능해졌다.
• 구현은 몇 백만 개 상태 이하의 마코프 체인에 대해 수천 개 상태에서 몇 초 내로 지수를 효율적으로 계산하여 실용적 확장성을 입증했다.
• 평균 보상과 액티브 우월도 함수를 활용한 접근 방식을 통해 할인 없음 설정으로의 일반화가 가능해졌으며, 이는 이전 연구가 할인 모델에만 국한된 한계를 극복한다.
• 제한적인 지수 가능성 조건에 의존하지 않아, 유한 상태 암면에서의 지수 가능성 테스트 및 지수 계산을 위한 일반 목적의 솔루션을 제공한다.