[논문 리뷰] When should agents explore?

Mîruna Pislar, David Szepesvári외 3명|arXiv (Cornell University)|2021. 08. 26.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

이 논문은 강화학습에서 탐색의 *시점*을 동적으로 제어하기 위한 모드 전환 탐색 프레임워크를 제안한다. 이는 내재적 호기심 또는 고정된 스텝 수에 기반한 적응형 트리거를 사용하여, 에피소드 내 시간 스케일에서 탐색 모드와 이용 모드를 전환함으로써, 단일 탐색 정책보다 더 풍부하고 다양한 행동을 가능하게 한다. 이 방법은 광범위한 초모수 조정 없이도 아타리 게임에서 최신 기준 성능을 달성한다.

ABSTRACT

Exploration remains a central challenge for reinforcement learning (RL). Virtually all existing methods share the feature of a monolithic behaviour policy that changes only gradually (at best). In contrast, the exploratory behaviours of animals and humans exhibit a rich diversity, namely including forms of switching between modes. This paper presents an initial study of mode-switching, non-monolithic exploration for RL. We investigate different modes to switch between, at what timescales it makes sense to switch, and what signals make for good switching triggers. We also propose practical algorithmic components that make the switching mechanism adaptive and robust, which enables flexibility without an accompanying hyper-parameter-tuning burden. Finally, we report a promising and detailed analysis on Atari, using two-mode exploration and switching at sub-episodic time-scales.

연구 동기 및 목표

• 강화학습에서 탐색의 *시점*을 묻는 아직 다루지 않은 질문에 대응함으로써, 고정된 탐색 빈도나 단일 정책을 넘어서는 것.
• 특히 에피소드 내 전환과 같은 다양한 시간 해상도가 탐색 다양성과 학습 효율성에 미치는 영향을 조사하는 것.
• 수동적인 초모수 조정에 의존도를 줄이고도 성능을 유지하는 강력한 적응형 전환 메커니즘을 설계하는 것.
• 전환 트리거(예: 정보 기반 vs. 무지막지, 스텝 기반 vs. 확률 기반)가 학습 동역학과 최종 성능에 미치는 영향을 평가하는 것.

제안 방법

• 고정된 이용 정책(G)과 두 가지 다른 탐색 정책인 XU(균일한 랜덤)와 XI(내재적 호기심을 통한 RND 기반)를 갖는 이중 모드 강화학습 프레임워크를 도입한다.
• 에피소드 내 전환을 적용하여, 탐색 기간이 여러 스텝에 걸치지만 전체 에피소드보다 짧게 유지되며, 사전 정의된 조건에 의해 모드 전환이 발생하도록 한다.
• 내재적 호기심(정보 기반 트리거) 또는 고정된 스텝 간격(무지막지 트리거)과 같은 신호에 기반해 동적으로 전환 행동을 조정하는 메타컨트롤러를 사용한다.
• 일부 실험에서는 안정적인 Q-학습 업데이트를 보장하기 위해 비정책 보정을 적용하지만, 현재 설정에서는 이 보정이 반드시 필요하지 않다는 것이 결과적으로 드러났다.
• 전체 탐색 비율(pX)과 중앙 탐색 기간 길이(medX)라는 두 가지 핵심 통계량을 사용하여 탐색 행동을 특성화함으로써 분석을 위한 특성 공간을 구성한다.
• 에이전트의 불확실성 또는 내재적 보상 신호에 따라 전환 확률을 조정하는 확률적 전환 메커니즘을 활용한다.

실험 결과

연구 질문

• RQ1 에피소드 내 전환 방식은 스텝 수준 또는 에피소드 수준의 탐색과 비교해 아타리 게임에서 학습 효율성과 최종 성능 측면에서 어떻게 다를까?
• RQ2 무지막지(고정된 스텝 간격) 트리거와 정보 기반(내재적 호기심 기반) 트리거 중 어느 것이 더 높은 탐색 다양성과 에이전트 성능을 이끌어내는가?
• RQ3 에피소드를 이용 모드에서 시작하는 것과 탐색 모드에서 시작하는 것이 모드 전환 속도와 효과성에 영향을 주는가? 이는 환경에 따라 어떻게 달라지는가?
• RQ4 적응형 메타컨트롤러 기반 전환은 수동적인 초모수 조정의 필요성을 줄일 수 있으며, 성능을 유지하거나 향상시킬 수 있는가?
• RQ5 다양한 전환 전략과 결합했을 때, XU 모드와 XI 모드는 행동 다양성과 수익 극대화 측면에서 어떻게 상호작용하는가?

주요 결과

• 고정된 10스텝 탐색 기간과 무지막지 스텝 기반 트리거(XU-intra(10,blind,n*,G))를 사용한 에피소드 내 전환 전략은 테스트한 7개 아타리 게임 전반에서 뛰어난 성능을 보였으며, 그 중 5개 게임에서 평균 인간 정규화 점수 100%를 초과했다.
• 정보 기반 전환 전략(XI-intra(10,informed,p*,G))는 7개 게임 중 6개에서 무지막지 전략을 능가했으며, 특히 Montezuma’s Revenge와 Star Gunner에서 각각 12,500과 150,000의 수익을 기록해 두드러진 성과를 보였다.
• 에피소드를 이용 모드에서 시작할 경우, 탐색 모드에서 시작하는 것보다 전환 빈도가 낮았고, 이는 더 긴 중앙 탐색 기간을 의미했으며, 이는 탐색 다양성의 감소를 초래했다.
• 메타컨트롤러의 성능은 초모수 설정에 대해 매우 강건했으며, 예를 들어 100스텝의 고정된 전환 간격을 사용하더라도 환경 간 일반화가 잘 되었고 재조정 없이도 성능을 유지했다.
• 비정책 보정은 XI 모드 실험에서는 불필요하다는 것이 밝혀졌으며, 보정이 없는 k스텝 Q-학습도 동일하거나 약간 더 나은 성능을 보였다. 이는 내재적 보상 신호가 학습을 안정화시켰음을 시사한다.
• 탐색 특성 공간(pX 대 medX) 분석 결과, 다양한 전환 전략이 이 공간의 서로 다른 영역을 커버하고 있음을 확인했으며, 이는 에피소드 내 전환이 탐색 행동에 대해 미세한 제어를 가능하게 한다는 것을 의미한다.