[논문 리뷰] Reducing Commitment to Tasks with Off-Policy Hierarchical Reinforcement Learning

Mitchell Keith Bloch|arXiv (Cornell University)|2011. 04. 27.

Reinforcement Learning in Robotics참고 문헌 7인용 수 3

한 줄 요약

이 논문은 HRL에서 시간차(TD) 학습을 수정함으로써 의도하지 않은 온정책 업데이트를 제거하는 오프정책 계층 강화학습 방법을 제안한다. 택시-카브 도메인에서 하위작업 완료에 대한 의무를 줄임으로써, 온라인 학습 효율성과 최종 정책 품질을 향상시킴으로써 오랫동안 널리 받아들여진 하위작업 완료에 대한 의무가 효율적인 HRL 학습에 필수적이라는 믿음을 도전한다.

ABSTRACT

In experimenting with off-policy temporal difference (TD) methods in hierarchical reinforcement learning (HRL) systems, we have observed unwanted on-policy learning under reproducible conditions. Here we present modifications to several TD methods that prevent unintentional on-policy learning from occurring. These modifications create a tension between exploration and learning. Traditional TD methods require commitment to finishing subtasks without exploration in order to update Q-values for early actions with high probability. One-step intra-option learning and temporal second difference traces (TSDT) do not suffer from this limitation. We demonstrate that our HRL system is efficient without commitment to completion of subtasks in a cliff-walking domain, contrary to a widespread claim in the literature that it is critical for efficiency of learning. Furthermore, decreasing commitment as exploration progresses is shown to improve both online performance and the resultant policy in the taxicab domain, opening a new avenue for research into when it is more beneficial to continue with the current subtask or to replan.

연구 동기 및 목표

• 오프정책 계층 강화학습(HRL) 시스템에서 의도하지 않은 온정책 학습을 해결하기 위해.
• 효율적인 HRL 학습을 위해 하위작업 완료에 대한 의무가 필수적이라는 널리 퍼진 주장에 도전하기 위해.
• 하위작업이 먼저 수렴할 필요 없이도 신뢰할 수 있는 오프정책 학습을 지원하는 TD 방법 개발하기 위해.
• 탐색 중에 의무를 동적으로 줄일 경우 학습 성능에 미치는 영향 탐색하기 위해.

제안 방법

• 기존의 TD 방법을 수정하여 HRL에서 오프정책 학습 중 온정책 업데이트를 방지한다.
• 계층 옵션을 위한 보정된 오프정책 TD 방법인 게이트드 타임스텝 제2차 차이 추적(GTSDT)을 도입한다.
• 비최적의 하위작업 실행 중에도 일致된 가치 백업을 보장하기 위해 1단계 내부옵션 학습(OSIO)을 활용한다.
• 계층 내 모든 목표의 Q값을 업데이트함으로써 학습 효율성을 향상시키기 위해 전상태 업데이트를 사용한다.
• 100,000 에피소드 동안 1에서 0으로 점차적으로 의무를 줄이기 위해 보츠만 탐색과 냉각 스케줄을 적용한다.
• 작업 목표에 기반한 공유 Q값을 갖는 계층적 에이전트를 구현하고, 온라인 학습을 위한 비계층적 실행 방식을 사용한다.

실험 결과

연구 질문

• RQ1 하위작업이 완료되어야 한다는 조건 없이 오프정책 HRL이 효율적으로 학습할 수 있는가?
• RQ2 하위작업 완료에 대한 의무를 줄이면 학습 속도와 최종 정책 품질이 향상되는가?
• RQ3 비최적 행동이 하위작업에서 취해질 경우, 기존의 TD 방법들인 Q(0)과 OSIO는 오프정책 HRL에서 신뢰할 수 있는가?
• RQ4 GTSDT와 OSIO는 비계층적 실행 중에도 효과적인 학습을 지원할 수 있는가?
• RQ5 하위작업 완료에 대한 의무가 학습 효율성에 더 유리하거나 덜 유리한 경우는 언제인가?

주요 결과

• GTSDT는 의무 수준과 관계없이 최종 정책 품질에서 Fixed Q(0)와 Fixed OSIO를 모두 앞선다.
• 온라인 성능은 항상 GTSDT에서 가장 우수하며, 의무를 줄일수록 크게 향상된다.
• 100,000 에피소드 동안 의무를 1에서 0으로 줄임으로써, 테스트된 세 알고리즘 모두 최종 정책 품질이 향상된다.
• 의무를 줄일 경우 GTSDT와 OSIO의 온라인 성능은 향상되지만, Fixed Q(0)는 약간 떨어질 뿐이다.
• 결과는 하위작업 완료에 대한 의무가 효율적인 HRL 학습에 필수적이라는 문헌의 주장과 정면으로 배치된다.
• 이 연구는 보정된 TD 방법을 사용함으로써, 하위작업이 먼저 수렴할 필요 없이도 안정적인 오프정책 학습이 가능하다는 것을 입증한다.