[논문 리뷰] Approximate Exploration through State Abstraction

Adrien Ali Taïga, Aaron Courville외 1명|arXiv (Cornell University)|2018. 08. 29.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 상태 추상화와 밀접하게 연결된 가짜 카운트 기반 탐색 보너스를 통해 강화학습에서의 근사 탐색을 조사하며, 밀도 모델이 암묵적으로 정의하는 추상화가 부족하거나 과도한 탐색을 유도할 수 있음을 보여준다. 이에 따라 명시적 추상화와 암묵적 추상화 간의 불일치를 해결하는 새로운 가짜 카운트 보너스를 제안하여 비표본적 환경에서 탐색 효율성과 이론적 보장을 향상시킨다.

ABSTRACT

Although exploration in reinforcement learning is well understood from a theoretical point of view, provably correct methods remain impractical. In this paper we study the interplay between exploration and approximation, what we call approximate exploration. Our main goal is to further our theoretical understanding of pseudo-count based exploration bonuses (Bellemare et al., 2016), a practical exploration scheme based on density modelling. As a warm-up, we quantify the performance of an exploration algorithm, MBIE-EB (Strehl and Littman, 2008), when explicitly combined with state aggregation. This allows us to confirm that, as might be expected, approximation allows the agent to trade off between learning speed and quality of the learned policy. Next, we show how a given density model can be related to an abstraction and that the corresponding pseudo-count bonus can act as a substitute in MBIE-EB combined with this abstraction, but may lead to either under- or over-exploration. Then, we show that a given density model also defines an implicit abstraction, and find a surprising mismatch between pseudo-counts derived either implicitly or explicitly. Finally we derive a new pseudo-count bonus alleviating this issue.

연구 동기 및 목표

• 비표본적 환경에서 가짜 카운트 기반 탐색의 이론적 행동을 이해하기 위해.
• 모델 기반 강화학습 알고리즘인 MBIE-EB에서 상태 추상화가 탐색 성능에 미치는 영향을 분석하기 위해.
• 가짜 카운트 방법에서 밀도 모델이 유도하는 명시적 추상화와 암묵적 추상화 간의 불일치를 특정하기 위해.
• 이 불일치로 인해 발생하는 부족 또는 과도한 탐색을 완화하는 새로운 가짜 카운트 보너스를 제안하기 위해.
• 실제 RL 설정에서 탐색 속도와 정책 품질 간의 트레이드오프를 향상시키기 위해.

제안 방법

• 명시적 상태 집합을 적용한 MBIE-EB를 사용하여 추상화 품질과 크기에 따라 달라지는 성능 한계를 유도한다.
• 가짜 카운트와 상태 집합 간의 관계를 규명하며, 실제 카운트의 대체로 사용될 수 있지만, 이로 인해 과소 또는 과다 탐색이 발생할 수 있음을 보여준다.
• 가짜 카운트가 밀도 모델을 통해 암묵적으로 추상화를 정의함을 확인하며, 이는 의도한 명시적 추상화와 다를 수 있음을 시사한다.
• 암묵적 추상화를 의도한 명시적 추상화와 일치시키는 새로운 가짜 카운트 보너스를 유도하여 탐색 비효율성을 감소시킨다.
• 이론적 분석과 9방 격자 세계에서의 실험적 평가를 통해 제안된 방법을 검증한다.
• 상태 집합 함수에 기반해 보상과 전이의 볼록 조합을 사용하여 추상 MDP를 정의한다.

실험 결과

연구 질문

• RQ1 상태 추상화는 MBIE-EB의 학습 속도와 정책 품질 측면에서 어떻게 영향을 미치는가?
• RQ2 밀도 모델에서 유도된 가짜 카운트가 상태 추상화 하에서 실제 카운트의 유효한 대체로 작용할 수 있는가?
• RQ3 가짜 카운트를 사용할 경우 명시적 추상화와 암묵적 추상화 간에 불일치가 발생하는 이유는 무엇이며, 그 결과는 무엇인가?
• RQ4 암묵적 추상화를 명시적 설계와 일치시키는 데 도움이 되는 개선된 가짜 카운트 보너스를 유도할 수 있는가?
• RQ5 제안된 방법은 누적 보상과 강건성 측면에서 표준 MBIE-EB 및 가짜 카운트를 사용한 MBIE-EB와 비교해 어떻게 다를까?

주요 결과

• MBIE-EB에서 명시적 상태 추상화는 학습 속도와 정책 품질 사이의 트레이드오프를 가능하게 하며, 더 세밀한 집합은 더 우수한 성능을 낳는다.
• MBIE-EB에서 가짜 카운트를 사용할 경우 이론적 보장을 충족하지 못하는 과소 탐색 또는 과다 샘플 사용으로 이어지는 과다 탐색이 발생할 수 있으며, 이는 논문에서 정량화되어 있다.
• 가짜 카운트는 밀도 모델을 통해 암묵적으로 추상화를 정의하며, 이는 의도한 명시적 추상화와 일치하지 않을 수 있어 성능 저하를 초래한다.
• 명시적으로 유도된 가짜 카운트와 암묵적으로 유도된 가짜 카운트의 행동 간 놀라운 불일치가 발견되었으며, 이는 이론적 보장을 약화시킨다.
• 제안된 새로운 가짜 카운트 보너스는 이 불일치를 해결하여 다양한 하이퍼파라미터 설정에서 탐색 효율성과 강건성을 향상시킨다.
• 실험 결과, 새로운 보너스를 적용한 MBIE-EB-PC는 첫 10,000 타임스텝 동안 더 높은 누적 보상을 기록했으며, 하이퍼파라미터 선택에 더 강건한 것으로 나타났다.