[논문 리뷰] Sublinear Least-Squares Value Iteration via Locality Sensitive Hashing

Anshumali Shrivastava, Zhao Song외 1명|arXiv (Cornell University)|2021. 05. 18.

Advanced Image and Video Retrieval Techniques참고 문헌 91인용 수 5

한 줄 요약

이 논문은 근사 최대 내적 곱 검색 (Max-IP)을 위한 국소성에 민감한 해싱 (LSH)을 활용하여 행동 수에 대해 비선형 런타임을 달성하는 부분선형 최소제곱가치반복 (LSVI) 알고리즘을 제시한다. 적절히 선택된 근사 인자로 인해, 표준 LSVI와 동일한 리그레트를 유지하면서 계산 비용을 크게 감소시키며, 이는 LSH를 강화학습에 이론적 보장과 함께 처음으로 증명 가능하게 통합한 것이다.

ABSTRACT

We present the first provable Least-Squares Value Iteration (LSVI) algorithms that have runtime complexity sublinear in the number of actions. We formulate the value function estimation procedure in value iteration as an approximate maximum inner product search problem and propose a locality sensitive hashing (LSH) [Indyk and Motwani STOC'98, Andoni and Razenshteyn STOC'15, Andoni, Laarhoven, Razenshteyn and Waingarten SODA'17] type data structure to solve this problem with sublinear time complexity. Moreover, we build the connections between the theory of approximate maximum inner product search and the regret analysis of reinforcement learning. We prove that, with our choice of approximation factor, our Sublinear LSVI algorithms maintain the same regret as the original LSVI algorithms while reducing the runtime complexity to sublinear in the number of actions. To the best of our knowledge, this is the first work that combines LSH with reinforcement learning resulting in provable improvements. We hope that our novel way of combining data-structures and iterative algorithm will open the door for further study into cost reduction in optimization.

연구 동기 및 목표

• 큰 행동 공간에서 반복적 강화학습 알고리즘의 가치함수 추정에 따른 높은 계산 비용을 해결하기 위해.
• 최소제곱가치반복 (LSVI)의 런타임 복잡도를 행동 수에 대해 선형에서 부분선형으로 감소시키기 위해.
• LSH를 통한 근사 Max-IP 검색과 강화학습 리그레트 분석을 공식적으로 연결하기 위해.
• 상호의존성 있는 질의에 대응하는 적응형 반복적 강화학습 알고리즘에 대해 증명 가능하고 안정적인 LSH 기반 프레임워크를 설계하기 위해.
• 탐색을 위한 행렬 노름 검색을 포함한 LSVI-UCB로 접근을 확장하여 이론적 보장을 유지하기 위해.

제안 방법

• LSVI 및 LSVI-UCB에서 가치함수 추정을 근사 최대 내적 곱 (Max-IP) 문제로 재구성한다.
• 통제 가능한 근사 오차를 갖는 Max-IP에 특화된 국소성에 민감한 해싱 (LSH) 데이터 구조를 설계한다.
• 근사 검색에서의 덧셈 오차를 처리하기 위해 양자화된 (c, τ, λ)-Max-IP 및 (c, τ, λ)-Max-MatNorm 데이터 구조를 도입한다.
• LSVI-UCB의 탐색을 위해 근사 최대 행렬 노름 검색 (Max-MatNorm)으로 LSH를 확장한다.
• 행렬의 벡터화를 통해 Max-MatNorm 질의를 d²차원 벡터에 대한 Max-IP 질의로 매핑한다.
• 적응형 질의 시퀀스에서 실패 확률과 오차 전파에 대한 이론적 한계를 적용하여 안정성을 보장한다.

실험 결과

연구 질문

• RQ1 LSH를 사용하여 LSVI의 가치함수 추정에서 행동 수에 대해 부분선형 런타임을 달성하면서 리그레트가 증가하지 않도록 할 수 있는가?
• RQ2 원래 LSVI 알고리즘의 리그레트 한계를 유지하기 위해 Max-IP에서 필요한 근사 인자는 무엇인가?
• RQ3 적응형이고 상호의존적인 질의를 처리하기 위해 LSH는 어떻게 적응시킬 수 있는가?
• RQ4 Max-IP 프레임워크를 Max-MatNorm으로 확장하여 LSVI-UCB의 탐색을 지원할 수 있는가?
• RQ5 이 강화학습 맥락에서 LSH를 사용할 경우의 이론적 공간 및 시간 간극은 무엇인가?

주요 결과

• 부분선형 LSVI 알고리즘은 O(HKd²A^ρ · κ)의 가치반복 복잡도를 가지며, ρ < 1 이므로 행동 수 A에 대해 부분선형 런타임을 달성한다.
• 부분선형 LSVI-UCB의 경우, 가치반복 복잡도는 O(HKd²A^ρ · κ)이며, 전처리의 트레이드오프에 따라 ρ = 1 − 1/(4√K) 또는 ρ = 1 − 1/(8K)이다.
• c = 1 − ι/√K 이고 λ ≤ √(H²K 이면, 부분선형 LSVI-UCB의 리그레트는 고확률로 O(Cβ · √(d³H⁴Kι²)) 이하로 유한하다.
• LSH 기반 Max-MatNorm 데이터 구조는 (c, τ, λ)-보장에 따라 최대 행렬 노름을 정확하게 근사하며, 반복적 강화학습에서 안정적으로 사용할 수 있다.
• 이 프레임워크는 표준 LSVI 및 LSVI-UCB와 동일한 리그레트를 유지하며, 부분선형 속도 향상이 학습 성능을 손상시키지 않음을 증명한다.
• 분석은 적응형 질의 간 의존성을 고려하고, 상호의존성 있는 질의에 대해 누적 실패 확률을 유니온 바운드를 통해 통제한다.