[논문 리뷰] On Lower Bounds for Regret in Reinforcement Learning

Ian Osband, Benjamin Van Roy|arXiv (Cornell University)|2016. 08. 09.

Advanced Bandit Algorithms Research참고 문헌 4인용 수 49

한 줄 요약

이 논문은 강화학습에서의 손실에 대한 하한을 재검토하며, Bartlett와 Tewari(2009)에서 제안한 $Ω(D_{\text{ow}}\sqrt{SAT})$ 손실 하한이 엄밀한 증명이 부족하다고 밝힌다. 대신 표준 농도 기법을 사용하여 $Ω(\sqrt{D_{\text{ow}}SAT})$라는 증명 가능한 하한을 확립하며, 더 날카운 $D_{\text{ow}}\sqrt{SAT}$ 척도가 달성 가능하지 않으며, 기존 상한이 이미 최적일 수 있음을 시사한다.

ABSTRACT

This is a brief technical note to clarify the state of lower bounds on regret for reinforcement learning. In particular, this paper: - Reproduces a lower bound on regret for reinforcement learning, similar to the result of Theorem 5 in the journal UCRL2 paper (Jaksch et al 2010). - Clarifies that the proposed proof of Theorem 6 in the REGAL paper (Bartlett and Tewari 2009) does not hold using the standard techniques without further work. We suggest that this result should instead be considered a conjecture as it has no rigorous proof. - Suggests that the conjectured lower bound given by (Bartlett and Tewari 2009) is incorrect and, in fact, it is possible to improve the scaling of the upper bound to match the weaker lower bounds presented in this paper. We hope that this note serves to clarify existing results in the field of reinforcement learning and provides interesting motivation for future work.

연구 동기 및 목표

• 강화학습에서 손실에 대한 하한의 현재 상태를 명확히 하며, 특히 Bartlett와 Tewari(2009)에서 제안한 하한의 타당성을 검토한다.
• REGAL 논문(Bartlett와 Tewari, 2009)의 정리 6에 대한 증명 기법이 표준 분석 방법에 비해 잘못되어 있음을 입증한다.
• 표준 농도 부등식을 사용하여, 직경 $D_{\text{ow}}$를 가진 MDP에서 손실에 대해 $Ω(\sqrt{D_{\text{ow}}SAT})$라는 증명 가능한 하한을 확립한다.
• 원래 증명 개요에서 이중 계산 문제로 인해, 추측된 $Ω(D_{\text{ow}}\sqrt{SAT})$ 하한이 잘못되었을 가능성이 있음을 주장한다.
• 미래 연구를 자극하기 위해 추측 1을 제안한다: $Ω(\sqrt{D_{\text{ow}}SAT})$가 가능한 최선의 하한이며, 이는 기존 상한이 이미 날카로울 수 있음을 시사한다.

제안 방법

• UCRL2 논문(Jaksch 등, 2010)에서 사용된 것과 유사한 표준 농도 부등식과 정보이론적 추론을 사용하여 강화학습의 손실에 대한 하한을 재현한다.
• Bartlett와 Tewari(2009)의 정리 6의 잘못된 증명 구조를 분석하며, $O(D_{\text{ow}})$ 단계 동안 한 번의 나쁜 행동이 과도하게 계산되는 이중 계산 오류를 밝혀낸다.
• 다중 암호 랜드 브랜치 하한($\Omega(\sqrt{AT})$)을 기본 사례로 삼고, MDP의 직경 $D_{\text{ow}}$와 상태-행동 수 $S,A$를 통합하여 이를 MDP로 확장한다.
• 반례 분석을 통해 $D_{\text{ow}}\sqrt{SAT}$ 추측이 시간 단계에 걸쳐 동일한 손실 값이 여러 번 계산되는 등 일관성 없는 손실 계산을 초래함을 보여준다.
• 최근 유한 수평 MDP에서의 PAC 하한(Dann과 Brunskill, 2015)과 비교하며, 유사한 손실 척도 $\Theta(\sqrt{HT})$가 나타나며, 이는 $\sqrt{D_{\text{ow}}SAT}$ 척도가 날카로운 하한임을 지지한다.

실험 결과

연구 질문

• RQ1 Bartlett와 Tewari(2009)에서 제안한 $\Omega(D_{\text{ow}}\sqrt{SAT})$ 손실 하한은 표준 기법을 사용해 엄밀하게 증명 가능한가?
• RQ2 REGAL 논문(Bartlett와 Tewari, 2009)의 정리 6 증명에 논리적 오류가 있는가, 특히 손실이 시간에 따라 어떻게 누적되는지에 대한 분석에서?
• RQ3 직경 $D_{\text{ow}}$를 가진 MDP에서 손실에 대해 $\Omega(\sqrt{D_{\text{ow}}SAT})$라는 증명 가능한 하한을 확립할 수 있는가?
• RQ4 $D_{\text{ow}}\sqrt{SAT}$ 척도가 추측된 하한에서 개선 불가능한가, 이는 기존 상한이 이미 최적일 수 있음을 시사하는가?
• RQ5 최근의 유한 수평 MDP에서의 PAC 하한 분석은 $\sqrt{HT}$ 손실 척도를 보이며, 이는 $\sqrt{D_{\text{ow}}SAT}$가 가능한 최선의 하한임을 뒷받침하는가?

주요 결과

• Bartlett와 Tewari(2009)의 정리 6 증명은 표준 분석 기법에 비해 $O(D_{\text{ow}})$ 단계 동안 손실 계산에서 이중 계산 오류로 인해 유효하지 않다.
• 표준 농도 부등식과 다중 암호 랜드 브랜치 하한을 기반으로, 강화학습에서 손실에 대해 $Ω(\sqrt{D_{\text{ow}}SAT})$라는 엄밀한 하한을 확립하였다.
• 원래 증명 개요에서 이중 계산 문제로 인해, $\Omega(D_{\text{ow}}\sqrt{SAT})$로 추측된 하한은 과도하게 손실을 과대평가하고 있으며, 궤도 전체에 걸쳐 동일한 값의 손실이 여러 번 계산된다.
• 분석 결과, $\tilde{O}(\sqrt{DSAT})$와 같은 기존의 손실 상한이 이미 최적일 수 있으며, 새로운 증명된 하한과 일치함을 시사한다.
• 최근의 유한 수평 MDP에서의 PAC 분석(Dann과 Brunskill, 2015)은 $\Theta(\sqrt{HT})$의 손실 척도를 보이며, 이는 $\sqrt{D_{\text{ow}}SAT}$와 일관되며, $D_{\text{ow}}\sqrt{SAT}$가 올바른 척도가 아님을 시사한다.