[논문 리뷰] QUOTA: The Quantile Option Architecture for Reinforcement Learning

Shangtong Zhang, Borislav Mavrin외 3명|arXiv (Cornell University)|2018. 11. 05.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

QUOTA는 의사결정을 위해 가치 분포의 분위수를 사용하는 혁신적인 강화학습 아키텍처를 제안한다. 이는 낙관적(고분위수) 및 비관적(저분위수) 전략을 통해 적응형 탐색을 가능하게 한다. 계층적 프레임워크 내에서 이러한 분위수 기반 전략을 통합함으로써 QUOTA는 아타리 게임과 로보스쿨 로봇 시뮬레이터에서 표준 DDPG 및 QR-DDPG 베이스라인을 능가하는 샘플 효율성과 성능 향상을 달성한다.

ABSTRACT

In this paper, we propose the Quantile Option Architecture (QUOTA) for exploration based on recent advances in distributional reinforcement learning (RL). In QUOTA, decision making is based on quantiles of a value distribution, not only the mean. QUOTA provides a new dimension for exploration via making use of both optimism and pessimism of a value distribution. We demonstrate the performance advantage of QUOTA in both challenging video games and physical robot simulators.

연구 동기 및 목표

• 강화학습에서 평균 기반 가치 추정의 한계를 해결하기 위해, 효율적 탐색을 위해 전체 수익 분포를 활용하지 못하는 문제를 해결한다.
• 가치 분포의 분위수를 사용하여 낙관적 및 비관적 탐색 전략 간에 동적으로 전환할 수 있는 방법을 개발한다.
• 이 옵션 프레임워크를 이산 및 연속 행동 문제 모두에 대해 분위수 기반 의사결정을 통합하도록 확장한다.
• 복잡한 환경에서 분위수 기반 탐색이 샘플 효율성과 최종 성능을 향상시킨다는 것을 경험적으로 검증한다.

제안 방법

• QUOTA는 상태-행동 가치를 평균이 아닌 분위수의 집합으로 표현하는 분포 기반 강화학습 접근법을 사용한다.
• 행동 선택은 가치 분포의 특정 분위수에 기반하며, 고분위수는 낙관적 탐색을, 저분위수는 비관적 탐색을 가능하게 한다.
• 고수준의 옵션 정책이 각 단계에서 사용할 분위수를 선택함으로써 탐색 전략 간의 동적 전환을 허용한다.
• 연속 행동 문제의 경우, QUOTA는 각각 특정 분위수의 가치 분포를 최대화하도록 전문화된 다수의 분위수 액터를 도입한다.
• 가치 네트워크를 훈련하기 위해 분위수 회귀 손실을 사용하고, 경험 재생 및 타겟 네트워크를 활용한 수정된 DDPG 스타일 알고리즘을 적용한다.
• 옵션 가치 함수는 즉각적인 보상과 향후 옵션 가치를 조합한 부트스트랩 타겟을 사용하며, 옵션 지속 시간을 모델링하기 위해 종료 확률을 도입한다.

실험 결과

연구 질문

• RQ1 평균이 아닌 전체 수익 분포를 활용함으로써 강화학습의 탐색 성능을 향상시킬 수 있는가?
• RQ2 고분위수(낙관) 또는 저분위수(비관)를 사용할 경우, 다양한 환경에서 샘플 효율성이 향상되는가?
• RQ3 분위수 기반 정책 간 전환을 허용하는 계층적 옵션 프레임워크가 다양한 작업에서 성능을 적응적으로 향상시킬 수 있는가?
• RQ4 최종 성능 및 학습 안정성 측면에서 QUOTA는 표준 DDPG 및 QR-DDPG와 어떻게 비교되는가?

주요 결과

• QUOTA는 49개의 아타리 게임에서 QR-DDPG 및 DDPG를 뛰어넘었으며, 세 번의 독립 실행에서 중앙값 점수는 각각 2555.80, 2364.60, 1730.33이었다.
• 로보스쿨 환경에서는 DDPG 및 QR-DDPG보다 높은 평균 수익을 기록했으며, 평가 곡선을 통해 빠른 수렴과 더 나은 최종 성능을 보였다.
• 탐색이 특히 도전적인 과제인 몬테주마의 복수나 프라이빗 아이에서 QUOTA는 일관된 성능 향상을 보였다.
• QUOTA가 낙관적 및 비관적 전략 간 전환할 수 있는 능력 덕분에, 평균 기반 방법이 효율적으로 탐색하지 못하는 환경에서 더 빠른 학습을 달성했다.
• 연속 제어 과제에서 분위수 액터를 사용함으로써 안정적인 학습과 샘플 효율성 향상을 달성했으며, 로보스쿨의 학습 곡선을 통해 이를 입증했다.