[논문 리뷰] A Survey of Exploration Methods in Reinforcement Learning

Susan Amin, Maziar Gomrokchi외 3명|arXiv (Cornell University)|2021. 09. 01.

Reinforcement Learning in Robotics참고 문헌 204인용 수 5

한 줄 요약

이 종합적 서베이는 강화학습에서 탐색 방법에 대한 체계적인 분류 체계와 개요를 제공하며, 탐색 중 사용하는 정보에 따라 보상 기반과 보상 무관 탐색 접근법으로 분류한다. 내재적 호기심, 사후 표본 추출, 불확실성 기반 탐색과 같은 핵심 기법을 강조하며, 아타리 및 표본 MDP와 같은 벤치마크 환경에서의 경험적 성공을 보여주며, 성공자 불확실성(Successor Uncertainties)이 49개 아타리 게임 중 36개에서 부트스트랩드 DQN을 능가함을 보여준다.

ABSTRACT

Exploration is an essential component of reinforcement learning algorithms, where agents need to learn how to predict and control unknown and often stochastic environments. Reinforcement learning agents depend crucially on exploration to obtain informative data for the learning process as the lack of enough information could hinder effective learning. In this article, we provide a survey of modern exploration methods in (Sequential) reinforcement learning, as well as a taxonomy of exploration methods.

연구 동기 및 목표

• 순차적 강화학습에서 현대적 탐색 방법에 대한 체계적이고 고수준의 개요를 제공하기 위해.
• 특히 보상, 상태 방문 수, 불확실성 정보를 사용하는 탐색 기법의 분류 체계를 수립하기 위해.
• 각 방법의 강점, 한계 및 경험적 성능를 비교함으로써 실무자들이 효과적인 탐색 전략을 선택하는 데 도움을 주기 위해.
• 불확실성에 대한 낙관주의, 확률 매칭, 모델 기반 탐색과 같은 주요 알고리즘 가족을 부각하기 위해.
• 탐색 문헌에서 표준화된 평가 지표와 벤치마크 과제의 부족을 해결하기 위해.

제안 방법

• 탐색을 두 가지 주요 유형으로 분류: 보상 무관(예: 무작위 행동, 내재적 호기심)과 보상 기반(예: 불확실성, 낙관주의, 사후 표본 추출).
• 사용하는 정보 유형에 따라 분류: 상태 방문 빈도, 예측 불확실성, 또는 가치 함수에 대한 사후 분포.
• 학습된 보상 및 전이 사후 분포에서 분석적으로 사후 가치 추정치를 도출하는 모델리스 방법인 성공자 불확실성(Successor Uncertainties, SU)을 도입.
• 메모리 기반 대비 메모리 없는, 내재적 대비 외재적 보상 활용 방식과 같은 하위 분류를 포함한 계층적 분류 체계를 적용.
• PSRL, 부트스트랩드 DQN, 내재적 호기심 모듈 등 대표적인 알고리즘을 검토하며, 설계 원리와 경험적 행동에 중점을 둔다.
• 이론적 샘플 복잡도나 수학적 증명보다는 실용적 통찰력과 경험적 성능에 중점을 둔다.

실험 결과

연구 질문

• RQ1 행동 선택 시 사용하는 정보에 기반해 탐색 방법을 체계적으로 분류할 수 있는가?
• RQ2 성능 및 확장성 측면에서 방향성 없는 탐색 전략과 방향성 있는 탐색 전략 간의 주요 차이는 무엇인가?
• RQ3 모델리스와 모델 기반 탐색 방법은 복잡한 환경에서 샘플 효율성과 경험적 성공 측면에서 어떻게 비교되는가?
• RQ4 내재적 호기심과 불확실성 기반 탐색은 보상이 희박한 환경에서 학습을 얼마나 향상시키는가?
• RQ5 왜 탐색 방법에 대한 평가 지표에 합의가 이루어지지 않았으며, 이는 방법 간 비교를 어떻게 방해하는가?

주요 결과

• 성공자 불확실성(SU)은 49개 아타리 게임 중 36개에서 부트스트랩드 DQN을 능가하여 대규모 환경에서 뛰어난 경험적 성능을 보였다.
• 200개 상태로 구성된 어려운 표본 사슬 문제에서 SU는 기준 방법들보다 뛰어난 성능을 기록하여 확장성과 효과성을 입증했다.
• 보상 무관 탐색 방법, 예를 들어 내재적 호기심은 보상이 희박하거나 지연되는 환경에서 특히 효과적이다.
• 사후 표본 추출과 불확실성 추정 기반 방법, 예를 들어 SU는 모델에 대한 사후 분포와 정책 선택 간 일관성을 유지하여 샘플 효율성을 향상시킨다.
• 강력한 경험적 성과에도 불구하고 평가 지표에 대한 합의가 없으며, 상태 커버리지, 손실, 정보 수득 등의 측정 기준에 따라 성능가 변동성이 존재한다.
• 이론적 보장은 종종 현실 성능와 일치하지 않으며, 표본 또는 선형 함수 근사 가정이 충족되지 않을 경우 발생한다.