[論文レビュー] Testing Indexability and Computing Whittle and Gittins Index in Subcubic Time

Nicolas Gast, Bruno Gaujal+1 more|arXiv (Cornell University)|Mar 10, 2022

Advanced Bandit Algorithms Research被引用数 1

ひとこと要約

本稿では、非定常マルチアームバンディットにおけるウィットルおよびギッティンズ指数を計算する最初のサブキュービックなアルゴリズムを提示する。シャーマン＝モリソンの公式と高速行列乗算を用いて、O(n^2.5286)の計算量を達成する。再帰的インデックス計算と最適化された行列演算により、割引あり・割引なしの両設定において、有限状態のマルコフ的アームのインデックス可達性のテストとインデックス計算を効率的に行える。数千の状態を数秒で処理する実用的性能を有する。

ABSTRACT

Whittle index is a generalization of Gittins index that provides very efficient allocation rules for restless multi-armed bandits. In this work, we develop an algorithm to test the indexability and compute the Whittle indices of any finite-state restless bandit arm. This algorithm works in the discounted and non-discounted cases, and can compute Gittins index. Our algorithm builds on three tools: (1) a careful characterization of Whittle index that allows one to compute recursively the kth smallest index from the $(k - 1)$th smallest, and to test indexability, (2) the use of the Sherman-Morrison formula to make this recursive computation efficient, and (3) a sporadic use of the fastest matrix inversion and multiplication methods to obtain a subcubic complexity. We show that an efficient use of the Sherman-Morrison formula leads to an algorithm that computes Whittle index in $(2/3)n^3 + o(n^3)$ arithmetic operations, where $n$ is the number of states of the arm. The careful use of fast matrix multiplication leads to the first subcubic algorithm to compute Whittle or Gittins index: By using the current fastest matrix multiplication, the theoretical complexity of our algorithm is O(n^2.5286 ). We also develop an efficient implementation of our algorithm that can compute indices of Markov chains with several thousands of states in less than a few seconds.

研究の動機と目的

• 非定常バンディット問題におけるインデックス可達性のテストとウィットルおよびギッティンズ指数の計算のための効率的アルゴリズムの開発。
• 従来手法の(2/3)n³ + o(n³)の境界を超える、サブキュービックな時間計算量でのインデックス計算の達成。
• 割引あり・割引なしの両ケースの計算を統一し、時間平均報酬設定を含む。
• 数え千の状態を持つマルコフ連鎖のインデックスを数秒未塔で実用的に計算可能にする。
• 制限の厳しいインデックス可達性条件に依存しない、実装可能で頑健なフレームワークの提供。

提案手法

• ウィットル指数の再帰的特徴づけを用い、k番目の最小インデックスを(k−1)番目のものから計算することで、段階的計算を可能にする。
• 再帰的インデックス計算中に逆行列を効率的に更新するため、シャーマン＝モリソンの公式を採用し、各ステップのコストを削減する。
• 全行列更新ではなく、水平計算（サブルーチン3経由）に基づく新規な行列更新戦略を導入することで、サブキュービックスケーリングを実現する。
• Coppersmith-Winogradに基づく、現在知られている最も高速な行列乗算アルゴリズムを活用し、理論的計算量をO(n^2.5286)に達成する。
• 特に大規模状態系において、メモリ使用量の最適化と重複計算の回避を実装で実現する。
• 割引なしのケースに適応したアクティブアドバンテージ関数と平均報酬定式化を採用し、従来の割引ありのみのアプローチとは異なる。

実験結果

リサーチクエスチョン

• RQ1 ウィットル指数計算をサブキュービック時間で行うことは可能か？ これにより、従来手法の(2/3)n³ + o(n³)の境界を打ち破ることができるか？
• RQ2 割引あり・割引なしの両非定常バンディットモデルにおいて、インデックス可達性のテストとウィットル指数の計算を効率的に行うことは可能か？
• RQ3 シャーマン＝モリソンの公式の使用により、サブキュービックな計算量を実現する再帰的で効率的な更新戦略を構築できるか？
• RQ4 高速行列乗算をインデックス計算パイプラインに効果的に統合し、理論的サブキュービック性能を達成できるか？
• RQ5 本手法は、fast-pivoting や adaptive-greedy アルゴリズムといった既存手法と比較して、実用的にどのように性能を発揮するか？

主な発見

• 本手法は、再帰的インデックス計算と高速行列乗算を組み合わせることで、理論的時間計算量O(n^2.5286)を達成し、ウィットルおよびギッティンズ指数計算における最初のサブキュービックなアルゴリズムを実現した。
• 標準的な行列逆行列計算を用いる場合、ウィットル指数は(2/3)n³ + o(n³)の算術演算で計算可能であり、この領域では従来の最良手法と同等の性能を示す。
• サブルーチン3を介した水平更新に基づく行列更新戦略の再定義により、従来手法が全行列更新に依存するのとは異なり、サブキュービックスケーリングを実現した。
• 実装は、数え千の状態を持つマルコフ連鎖のインデックスを数秒未塔で効率的に計算でき、実用的なスケーラビリティを示した。
• 平均報酬とアクティブアドバンテージ関数を用いた定式化により、割引なしのケースへの一般化が可能となり、従来の割引ありモデルに限定された研究の限界を克服した。
• 本手法は、制限の厳しいインデックス可達性条件に依存せず、有限状態のアームにおけるインデックス可達性のテストとインデックス計算のための汎用的ソリューションを提供する。