[논문 리뷰] On Optimistic versus Randomized Exploration in Reinforcement Learning

Ian Osband, Benjamin Van Roy|arXiv (Cornell University)|2017. 06. 13.

Evolutionary Algorithms and Applications참고 문헌 2인용 수 9

한 줄 요약

이 논문은 강화학습에서 낙관적 탐색과 랜덤화된 탐색을 비교하며, 후행 확률에 기반한 탐색 배정을 통해 통계적 효율성이 뛰어난 랜덤화된 접근 방식—예를 들어 톰슨 샘플링—이 우수한 성능을 보임을 입증한다. 반면, 표준 낙관적 방법은 상태공간 확장에 따라 비일관된 불확실성 측정으로 인해 통계적 효율성을 상실한다. 이는 계산적으로는 처리 가능하지만, 상태공간 확장에 따라 성능이 떨어진다.

ABSTRACT

We discuss the relative merits of optimistic and randomized approaches to exploration in reinforcement learning. Optimistic approaches presented in the literature apply an optimistic boost to the value estimate at each state-action pair and select actions that are greedy with respect to the resulting optimistic value function. Randomized approaches sample from among statistically plausible value functions and select actions that are greedy with respect to the random sample. Prior computational experience suggests that randomized approaches can lead to far more statistically efficient learning. We present two simple analytic examples that elucidate why this is the case. In principle, there should be optimistic approaches that fare well relative to randomized approaches, but that would require intractable computation. Optimistic approaches that have been proposed in the literature sacrifice statistical efficiency for the sake of computational efficiency. Randomized approaches, on the other hand, may enable simultaneous statistical and computational efficiency.

연구 동기 및 목표

• 강화학습에서 낙관적 탐색과 랜덤화된 탐색의 상대적 통계적 효율성을 분석하는 것.
• 이론적 기초는 유사하지만 실무에서 랜덤화된 접근 방식이 더 뛰어난 성능을 보이는 이유를 규명하는 것.
• 상태공간 확장에 따른 비일관된 불확실성 측정과 관련된 일반적인 낙관적 탐색 방법의 결함을 드러내는 것.
• 이론적으로 최적일 수 있는 낙관적 방법은 존재하지만, 계산적으로 처리 불가능하므로 랜덤화된 접근 방식이 더 실용적이고 효율적임을 주장하는 것.

제안 방법

• 저자는 유한한 시간 간격 MDP와 이진 행동을 포함한 예시, 그리고 분기형 상태 전이 구조를 포함한 두 번째 예시를 사용하여 탐색 전략을 비교한다.
• 낙관적 탐색의 경우, 표준적인 불확실성에 대한 낙관주의 원칙(OFU)을 적용하며, 가치 추정치에 고정된 낙관적 매개변수 c를 더한다.
• 랜덤화된 탐색의 경우, MDP의 후행 분포에서 가치 함수를 샘플링하고, 샘플된 함수에 대해 탐욕적으로 행동을 취함으로써 톰슨 샘플링을 모방한다.
• 상태공간 척도 변화(예: 다음 상태의 수)에 따라 탐색 결정이 일관성 유지 여부를 분석함으로써 의사결정 일관성(Decision Coherence)을 평가한다.
• 각 방법이 탐색 행동을 선택하는 조건을 비교하며, 불확실성(표준편차)과 가치 차이의 상호작용 방식을 집중적으로 분석한다.
• 랜덤화된 접근 방식은 척도 변화에 대해 자연스럽게 일관성을 유지하는 반면, 낙관적 방법은 분산 대신 표준편차를 평균화함으로써 실패함을 보여준다.

실험 결과

연구 질문

• RQ1 PSRL과 같은 랜덤화된 탐색 방법이 UCRL2와 같은 낙관적 방법보다 실무에서 더 뛰어난 성능을 보이는 이유는 무엇인가, 비록 이론적 보장은 유사하기 때문이다?
• RQ2 상태공간 확장은 낙관적 탐색과 랜덤화된 탐색의 탐색 결정 일관성에 어떤 영향을 미치는가?
• RQ3 계산적으로 처리 가능성을 유지하면서도 통계적 효율성을 확보할 수 있는 낙관적 탐색은 가능할 수 있는가?
• RQ4 후행 샘플링은 다양한 불확실성 척도에서 의사결정 일관성을 유지하는 데 어떤 역할을 하는가?

주요 결과

• 후행 샘플링을 통한 랜덤화된 탐색은 상태공간 확장 조건에서도 의사결정 일관성을 유지하지만, 낙관적 방법은 그렇지 않다.
• 다양한 다음 상태에 대해 표준편차를 평균화하는 낙관적 방법은 척도 변화에 따라 일관성 없이 작동하여, 다음 상태의 수가 증가할수록 잘못된 탐색 결정을 내리게 된다.
• 분기형 전이 예시에서 일반적인 낙관적 방법은 cε√N > 1 조건이 성립할 때만 탐색을 수행하며, 이는 N에 의존하지만, 랜덤화된 방법은 N과 무관한 확률로 탐색을 수행하여 진정한 불확실성을 반영한다.
• 성능 격차는 낙관적 방법이 √N 비례로 증가하는 비일관된 보정을 적용하기 때문이며, 올바른 불확실성 척도는 분산이어야 하지만, 표준편차를 사용함으로써 발생한다.
• 이론적으로는 가능한 최적의 일관성 있는 낙관적 방법이 존재하지만, 계산적으로 처리 불가능하므로 랜덤화된 접근 방식이 실제 강화학습에 더 실용적이고 효율적이다.
• RiverSwim 환경에서 PSRL과 UCRL2의 실험 결과는 랜덤화된 탐색이 더 빠른 학습과 낮은 위험도를 달성함을 확인하며, 이는 이론적 우월성을 뒷받침한다.