[논문 리뷰] Variational Regret Bounds for Reinforcement Learning

Pratik Gajane, Ronald Ortner외 1명|arXiv (Cornell University)|2019. 05. 14.

Advanced Bandit Algorithms Research참고 문헌 13인용 수 27

한 줄 요약

이 논문은 시간에 따라 변화하는 보상과 전이 확률을 가진 비정상적인 마르코프 결정 과정(MDP)을 위한 강화학습 알고리즘인 Variation-aware UCRL을 소개한다. 이는 처음으로 변동성 기반의 최소 손실 한계를 제공하며, 총 변동량 $V$에 따라 조정되는 고확률 손실 한계 $ olinebreak[4] \tilde{\mathcal{O}}(V^{1/3}T^{2/3}DS\sqrt{A})$ 를 달성한다. 이는 점진적인 변화 하에서 이전의 한계가 의미를 잃는 조건에서도 개선된 성능을 보인다.

ABSTRACT

We consider undiscounted reinforcement learning in Markov decision processes (MDPs) where both the reward functions and the state-transition probabilities may vary (gradually or abruptly) over time. For this problem setting, we propose an algorithm and provide performance guarantees for the regret evaluated against the optimal non-stationary policy. The upper bound on the regret is given in terms of the total variation in the MDP. This is the first variational regret bound for the general reinforcement learning setting.

연구 동기 및 목표

• 시간에 따라 변화하는 보상과 전이 확률을 가진 MDP에서 강화학습을 다루며, 실제 비정상적인 환경을 모델링한다.
• 갑작스럽거나 고정된 변화를 가정하는 대신, MDP의 변화 수준에 적응하는 알고리즘을 개발한다.
• 손실 한계가 변화 수의 수 $L$이 아닌 총 변화량 $V$에 따라 스케일링되도록 고확률 손실 한계를 제공함으로써 점진적인 변화에 대한 강건성을 향상시킨다.
• 재시작 기반의 UCRL 프레임워크를 확장하여 변화 인식 최적주의를 통합함으로써, 비정상적인 환경에서 더 탴튼 성능 보장을 가능하게 한다.

제안 방법

• 예측된 총 변화량 $V$에 따라 재시작 시점이 결정되는 재시작 기반의 UCRL 변종인 Variation-aware UCRL을 제안한다.
• 불확실성 하에서의 최적 계획을 사용하며, 보상과 전이 확률에 대한 신뢰구간을 유지하고, 이 구간의 크기를 총 변화량 $V$에 따라 조정한다.
• 편향 스펙트럼 분해를 적용하고, 직경 $D$를 활용하여 최적의 정책과 실제 정책 간의 차이를 제한한다.
• 관측된 전이로부터 형성된 가능한 MDP 집합 $\hat{\mathcal{M}}$ 을 사용하는 새로운 분석 기법을 도입하여, 진짜 MDP의 직경이 알려져 있지 않은 경우에도 편향 스펙트럼 $\tilde{\Lambda}$ 에 대한 한계를 설정할 수 있도록 한다.
• 집중 불등식과 변화량에 의존하는 최적주의를 조합하여 손실 한계를 유도하며, $V$ 가 작을 경우 서브라인어 손실이 유지됨을 보장한다.
• 핵심 레마를 통해 최적 가치 추정치가 $\tilde{\rho}^0 + V^r_T + D V^p_T$ 이하로 제한됨을 보여주며, 여기서 $\tilde{\rho}^0$ 은 변화가 없을 경우의 최적 가치이다.

실험 결과

연구 질문

• RQ1 시간에 따라 변화하는 보상과 전이 확률을 가진 MDP에서, 변화가 급격하지 않고 점진적인 경우에도 강화학습 알고리즘이 서브라인어 손실을 달성할 수 있는가?
• RQ2 변화의 총 변동량 $V$ 에 따라 스케일링되는 손실 한계를 유도할 수 있는가? 이는 변화 수 $L$ 이 아닌, 더 강건한 성능 향상을 위해 유의미하다.
• RQ3 UCRL 알고리즘은 어떻게 수정되어 변화 인식 최적주의와 재시작 스케줄링을 통합하여 비정상성 상황에서도 성능을 유지할 수 있는가?
• RQ4 비정상적인 MDP에서 탐색과 적응 간의 근본적인 상충관계는 무엇이며, 이를 변화 기반의 한계로 어떻게 기록할 수 있는가?

주요 결과

• 제안된 Variation-aware UCRL 알고리즘은 고확률 손실 한계 $ olinebreak[4] \tilde{\mathcal{O}}(V^{1/3}T^{2/3}DS\sqrt{A})$ 를 달성하며, 이는 $T$ 와 $V$ 에 대해 최적이다.
• 변화 수 $L$ 이 크거나 변화가 점진적인 경우, 이전의 UCRL 재시작 기반의 $ olinebreak[4] \tilde{\mathcal{O}}(L^{1/3}T^{2/3}DS\sqrt{A})$ 의 한계보다 개선된 성능을 보인다.
• 변동량 $V$ 가 작을 경우, $L$ 이 $T^{1/3}$ 의 속도로 증가하더라도 손실이 여전히 서브라인어로 유지되며, 이는 이전의 한계가 그러한 조건에서 의미를 잃는 것과 대비된다.
• 분석 결과, 진짜 MDP의 직경이 유한하지 않더라도, 관측된 전이로부터 형성된 가능한 MDP 집합 $\hat{\mathcal{M}}$ 에서의 최대 직경 $\hat{D}$ 를 사용하여 최적 MDP의 편향 스펙트럼을 유한한 한계로 제한할 수 있음을 보여준다.
• 핵심 기술 레마는 최적 가치 추정치가 최대 $\tilde{\rho}^0 + V^r_T + D V^p_T$ 이하임을 보여주며, 여기서 $\tilde{\rho}^0$ 은 변화가 없을 경우의 최적 가치이다.
• 논문은 $\hat{D}$ 가 진짜 직경 $D$ 에 의해 유계가 될 수 없음을 입증하며, 최적 MDP 집합 $\hat{\mathcal{M}}$ 이 무한 직경을 가진 MDP를 포함할 수 있음을 보여주며, 이는 철저한 분석이 필요함을 시사한다.