[논문 리뷰] Discovering Options for Exploration by Minimizing Cover Time

Yuu Jinnai, Jee Won Park외 2명|arXiv (Cornell University)|2019. 03. 02.

Reinforcement Learning in Robotics참고 문헌 32인용 수 11

한 줄 요약

이 논문은 강화학습에서 예상 커버 타임(즉, MDP의 모든 상태를 방문하는 데 소요되는 단계 수)을 최소화하는 방법으로 커버링 옵션(Covering Options)을 제안한다. 초기 탐색을 균일한 랜덤 워크로 모델링하고 스펙트럴 그래프 이론을 사용하여 대칭 행렬의 연결성(알제브라적 연결성)을 최소화함으로써 커버 타임의 상한을 최소화함으로써, 희소 보상 환경에서 탐색을 가속화하는 옵션을 생성한다. 실증 평가에서 기존 최상의 방법들을 능가하는 성능을 보였다.

ABSTRACT

One of the main challenges in reinforcement learning is solving tasks with sparse reward. We show that the difficulty of discovering a distant rewarding state in an MDP is bounded by the expected cover time of a random walk over the graph induced by the MDP's transition dynamics. We therefore propose to accelerate exploration by constructing options that minimize cover time. The proposed algorithm finds an option which provably diminishes the expected number of steps to visit every state in the state space by a uniform random walk. We show empirically that the proposed algorithm improves the learning time in several domains with sparse rewards.

연구 동기 및 목표

• 희소 보상이 있는 강화학습에서 효율적인 탐색 문제를 해결하기 위해.
• 멀리 떨어져 있고 알려지지 않은 보상 상태에 도달하는 데 필요한 평균 단계 수를 줄이기 위해.
• 탐색 중 보상 신호에 의존하지 않는 옵션 발견 방법을 개발하기 위해.
• MDP의 상태 전이 그래프 위에서 랜덤 워크의 예상 커버 타임을 공식적으로 바ounds(한계)하기 위해.
• 커버 타임을 최소화함으로써 희소 보상 도메인에서 학습 속도가 향상됨을 실증적으로 검증하기 위해.

제안 방법

• MDP의 상태 전이 그래프 위에서 초기 탐색을 균일한 랜덤 워크로 모델링하기 위해.
• 예상 커버 타임의 상한을 유한하게 하기 위해 그래프 라플라시안의 대칭 행렬 연결성(algebraic connectivity)을 사용하여 근사하기 위해.
• Ghosh & Boyd (2006)의 히우리스틱 방법을 적용하여 예상 커버 타임의 상한을 최소화하기 위해.
• 커버 타임 상한을 줄이는 데 기여하는 점 옵션(단일 상태에서 시작하고 종료되는 옵션)을 구성하기 위해.
• 기존 지식이 제한된 경우 상태 전이 그래프의 인cidience 행렬을 사용하여 옵션 생성을 안내하기 위해.
• 내재 보상과 함께 Q-러닝에 옵션을 통합하여 온라인 옵션 발견 및 정책 학습을 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 예상 커버 타임을 최소화하면 희소 보상 MDP에서 먼 보상을 더 빨리 발견할 수 있는가?
• RQ2 탐색 중 보상 신호에 의존하지 않고 옵션을 어떻게 발견할 수 있는가?
• RQ3 알제브라적 연결성을 통해 커버 타임의 상한을 줄이면 희소 보상 작업에서 학습 효율성이 향상되는가?
• RQ4 기존의 옵션 발견 기준(예: 이겐옵션과 밀도 기반 옵션)과 비교해 본다면 본 방법은 어떻게 성능을 내는가?
• RQ5 커버 타임 최소화를 활용한 온라인 옵션 발견은 실시간 환경에서 정책 학습을 가속화할 수 있는가?

주요 결과

• 커버링 옵션은 희소 보상 환경인 펄의 미로에서 이겐옵션과 밀도 기반 옵션보다 학습 속도가 빠르게 성능을 냈다.
• 하노이의 탑과 택시 도메인에서 커버링 옵션은 단순한 기본 동작만을 사용하는 에이전트보다 더 빠른 수렴을 달성했다.
• 특히 알제브라적 연결성을 중심으로 한 스펙트럴 그래프 성질을 활용함으로써 예상 커버 타임을 감소시켰다.
• 커버링 옵션을 사용한 온라인 옵션 발견은 기존의 기본 동작만을 사용하는 에이전트가 실패한 펄의 미로에서 목표를 안정적으로 발견할 수 있게 했다.
• 모든 테스트된 희소 보상 벤치마크에서 최신 기술(SOTA) 성능을 달성하여 강건성과 확장성을 입증했다.
• 알고리즘은 보상 정보 없이도 MDP의 전이 구조만으로도 올바른 옵션을 성공적으로 생성했다.