[논문 리뷰] Posterior Sampling for Large Scale Reinforcement Learning

Georgios Theocharous, Zheng Wen외 2명|arXiv (Cornell University)|2017. 11. 21.

Advanced Bandit Algorithms Research참고 문헌 13인용 수 19

한 줄 요약

이 논문은 대규모 및 연속적인 MDP에 적합한 실용적이고 모델에 종속되지 않은 알고리즘인 결정적 스케줄 사후 샘플링 강화학습(DS-PSRL)을 제안한다. 이 알고리즘은 로그 스케일의 결정적 에피소드 전환 스케줄을 사용하며, 약한 조건 하에 상태공간 크기와 무관한 베이지안 리그레트 경계를 확보한다. 이는 효율적인 일반화를 가능하게 하며, 이산 및 연속 제어 문제에서 최신 PSRL 방법들을 능가한다.

ABSTRACT

We propose a practical non-episodic PSRL algorithm that unlike recent state-of-the-art PSRL algorithms uses a deterministic, model-independent episode switching schedule. Our algorithm termed deterministic schedule PSRL (DS-PSRL) is efficient in terms of time, sample, and space complexity. We prove a Bayesian regret bound under mild assumptions. Our result is more generally applicable to multiple parameters and continuous state action problems. We compare our algorithm with state-of-the-art PSRL algorithms on standard discrete and continuous problems from the literature. Finally, we show how the assumptions of our algorithm satisfy a sensible parametrization for a large class of problems in sequential recommendations.

연구 동기 및 목표

• 실제 응용 분야에서 흔한 비에피소드적이고 리셋이 없는 MDP에 대해 실용적이고 확장 가능한 PSRL 알고리즘이 부족한 문제를 해결한다.
• 기존의 PSRL 방법들이 표본 기반의 방문 수와 같은 동적 통계에 의존하는 표본표기 표현 방식에 기반하여, 연속적이거나 고차원 상태-행동 공간에서는 비현실적인 문제를 해결한다.
• 특히 스칼라 파rameter를 갖는 파라미터화된 MDP에 적용 가능한 일반 목적의 PSRL 알고리즘을 개발하며, 증명 가능한 베이지안 리그레트 보장을 제공한다.
• 샘플, 시간, 공간 복잡도 측면에서 실용성과 효율성을 확보하면서도 강력한 이론적 성능 보장을 유지한다.
• 알고리즘이 적용 가능한 가정이 넓은 범위의 순차적 추천 시스템에서 충족됨을 보여주어 데이터 효율적이고 비단기적 개인화를 가능하게 한다.

제안 방법

• 방문 수와 같은 동적 통계에 의존하지 않는 로그 스케일의 에피소드 길이 증가 기반 결정적 모델 독립 에피소드 전환 스케줄을 도입한다.
• 각 에피소드 시작 시 사후 분포에서 모델을 샘플링하고, 그 샘플된 모델에 대한 최적 정책을 에피소드 종료 시까지 실행한다.
• 시스템 동역학이 스칼라 파라미터(예: 사용자가 음악을 듣는 경향)에 의존하는 파라미터화된 모델을 사용하여 상태와 행동 간의 일반화를 가능하게 한다.
• 립시츠 연속성과 사후 집중 가정을 적용하여 상태공간 크기와 무관한 리그레트 경계를 유도한다.
• 파라미터화된 MDP의 구조를 활용하여 각 상태-행동에 대한 카운팅을 피함으로써 연속적 및 고차원 문제에 대한 확장성을 확보한다.
• 상태 리셋이 없는 비에피소드적, 계속 학습하는 프레임워크를 적용하여 실생활 응용 분야(예: 추천 시스템)에 적합하다.

실험 결과

연구 질문

• RQ1 대규모, 연속적, 비에피소드적 MDP에 대해 이론적으로 타당하고 실용적으로 효율적인 PSRL 알고리즘을 설계할 수 있는가?
• RQ2 로그 스케일의 에피소드 길이 증가 기반의 결정적 에피소드 전환 스케줄이 방문 수와 같은 동적 통계에 의존하지 않고도 강력한 리그레트 보장을 제공할 수 있는가?
• RQ3 MDP 동역학이 스칼라로 파라미터화된 경우, DS-PSRL의 리그레트 경계가 상태 수와 무관하게 유지될 수 있는가?
• RQ4 립시츠 동역학과 사후 집중 가정이 실생활 순차적 추천 시스템에서 얼마나 잘 충족되는가?
• RQ5 DS-PSRL이 연속적 및 이산 제어 작업에서 최신 PSRL 알고리즘과 비교해 샘플 효율성과 누적 리그레트 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• 약한 조건 하에 DS-PSRL는 Õ(HS√(AT))의 베이지안 리그레트 경계를 확보하며, 파라미터화된 동역학이 스칼라일 경우 상태 수와 무관하다.
• 표준 이산 및 연속 제어 문제에서 최신 PSRL 방법들을 능가하며, 선형 제곱조절기(LQR) 및 POI 추천 작업 등에서 성능이 뛰어나다.
• 실험 결과 DS-PSRL는 최적 파라미터(예: A*, B*)를 매우 빠르게 학습하며, 매 타임스텝마다 에피소드를 전환하는 전략이 잘 작동함을 보여주어 다단계 탐색의 필요성이 최소화됨을 시사한다.
• 편경된 전이 확률을 갖는 POI 추천 모델은 립시츠 동역학과 사후 집중 가정을 모두 충족하며, ‖P(⋅|X,a,θ)−P(⋅|X,a,θ′)‖₁ ≤ (2/e)|θ−θ′|를 만족한다.
• 진짜 파라미터 θ*의 예측 오차 제곱 기댓값은 다음과 같이 유계이다: maxⱼ𝔼[Nⱼ₋₁|θ*−θ̃ⱼ|²] = O(1), 이는 약한 조건 하에 사후 집중이 성립함을 확인한다.
• 알고리즘의 결정적 스케줄은 로그 스케일의 에피소드 길이 증가를 보장하여 시간, 샘플, 공간 복잡도 측면에서 효율성을 확보하며, 대규모 및 연속 문제에 적합하다.