[論文レビュー] Sublinear Least-Squares Value Iteration via Locality Sensitive Hashing

Anshumali Shrivastava, Zhao Song+1 more|arXiv (Cornell University)|May 18, 2021

Advanced Image and Video Retrieval Techniques参考文献 91被引用数 5

ひとこと要約

本稿では、局所性に敏感なハッシュ（LSH）を用いて近似最大内積探索（Max-IP）を実行することで、行動数に線形でない実行時間となるサブラインアクス・LSVIアルゴリズムを提示する。適切に選ばれた近似要因を用いることで、標準的なLSVIと同等のレグレットを維持しながら計算コストを著しく削減できることを証明しており、理論的保証のもとでLSHを強化学習に統合した初の結果である。

ABSTRACT

We present the first provable Least-Squares Value Iteration (LSVI) algorithms that have runtime complexity sublinear in the number of actions. We formulate the value function estimation procedure in value iteration as an approximate maximum inner product search problem and propose a locality sensitive hashing (LSH) [Indyk and Motwani STOC'98, Andoni and Razenshteyn STOC'15, Andoni, Laarhoven, Razenshteyn and Waingarten SODA'17] type data structure to solve this problem with sublinear time complexity. Moreover, we build the connections between the theory of approximate maximum inner product search and the regret analysis of reinforcement learning. We prove that, with our choice of approximation factor, our Sublinear LSVI algorithms maintain the same regret as the original LSVI algorithms while reducing the runtime complexity to sublinear in the number of actions. To the best of our knowledge, this is the first work that combines LSH with reinforcement learning resulting in provable improvements. We hope that our novel way of combining data-structures and iterative algorithm will open the door for further study into cost reduction in optimization.

研究の動機と目的

• 大規模な行動空間において、反復的強化学習アルゴリズムにおける価値関数推定の高い計算コストに対処すること。
• 行動数に線形でない実行時間 Complexity に低減するため、最小二乗価値反復（LSVI）の実行時間複雑性を行動数に対してサブラインにすること。
• LSHによる近似Max-IP探索と強化学習のレグレット解析を正式に結びつけること。
• 相関するクエリに適応する反復的強化学習アルゴリズムにおいて、証明可能に効率的かつ安定なLSHベースのフレームワークを設計すること。
• 探索を支援する行列ノルム探索を用いたLSVI-UCBへのアプローチの拡張を行い、理論的保証を維持すること。

提案手法

• LSVIおよびLSVI-UCBにおける価値関数推定を、近似最大内積探索（Max-IP）問題として定式化する。
• 近似誤差を制御可能な、Max-IPに特化した局所性に敏感なハッシュ（LSH）データ構造を設計する。
• 加法的誤差を扱えるように、量子化された(c, τ, λ)-Max-IPおよび(c, τ, λ)-Max-MatNormデータ構造を導入する。
• LSVI-UCBにおける探索をサポートするため、最大行列ノルム探索（Max-MatNorm）へのLSHの拡張を行う。
• 行列のベクトル化を用いて、Max-MatNormクエリをd²次元ベクトル上のMax-IPクエリに変換する。
• 適応的クエリ列における失敗確率と誤差伝搬の理論的バインドを適用し、安定性を保証する。

実験結果

リサーチクエスチョン

• RQ1 LSHを用いることで、レグレットを増加させることなく、LSVIにおける価値関数推定の実行時間をサブラインにできるか？
• RQ2 Max-IPにおけるどの近似要因が、元のLSVIアルゴリズムのレグレットバインドを維持するのに十分か？
• RQ3 適応的かつ相関するクエリを扱う反復的強化学習アルゴリズムにおいて、LSHをどのように適合させられるか？
• RQ4 Max-IPフレームワークをMax-MatNormに拡張し、LSVI-UCBにおける探索をサポートできるか？
• RQ5 この強化学習文脈においてLSHを用いる際の理論的空間・時間のトレードオフは何か？

主な発見

• サブラインLSVIは、O(HKd²A^ρ · κ)の価値反復複雑性を達成し、ρ < 1のため、行動数Aに対してサブライン実行時間となる。
• サブラインLSVI-UCBでは、価値反復複雑性がO(HKd²A^ρ · κ)であり、ρ = 1 − 1/(4√K)またはρ = 1 − 1/(8K)（事前処理のトレードオフに依存）となる。
• c = 1 − ι/√Kおよびλ ≤ √(H²K)の下で、サブラインLSVI-UCBのレグレットは高確率でO(Cβ · √(d³H⁴Kι²))に有界である。
• LSHベースのMax-MatNormデータ構造は、(c, τ, λ)-保証を満たし、反復的強化学習における安定な使用を可能にする。
• このフレームワークは、標準的なLSVIおよびLSVI-UCBと同等のレグレットを維持しており、サブライン高速化が学習性能を損なわないことを証明している。
• 適応的クエリの依存関係を分析し、相関するクエリの上でのユニオンバインドを用いて累積的失敗確率を制御している。