[논문 리뷰] Think Too Fast Nor Too Slow: The Computational Trade-off Between Planning And Reinforcement Learning

Thomas M. Moerland, Anna Deichler외 3명|arXiv (Cornell University)|2020. 05. 15.

Reinforcement Learning in Robotics참고 문헌 25인용 수 6

한 줄 요약

이 논문은 모델기반 강화학습에서 계획과 강화학습 간의 계산적 트레이드오프를 조사하며, 시간당 계획 예산이 중간 수준일 때 성능이 최고조에 이르는 것으로 보여준다—즉, 너무 빠르게(모델-free RL) 또는 너무 느리게(완전한 탐색) 되는 것보다 더 나은 성능을 낸다. 주요 기여는 최적의 성능가능성이 계획 깊이와 학습 빈도의 균형에서 유도된다는 경험적 증거로서, 이는 인공지능과 이중과정인지이론 모두에 의미가 있다.

ABSTRACT

Planning and reinforcement learning are two key approaches to sequential decision making. Multi-step approximate real-time dynamic programming, a recently successful algorithm class of which AlphaZero [Silver et al., 2018] is an example, combines both by nesting planning within a learning loop. However, the combination of planning and learning introduces a new question: how should we balance time spend on planning, learning and acting? The importance of this trade-off has not been explicitly studied before. We show that it is actually of key importance, with computational results indicating that we should neither plan too long nor too short. Conceptually, we identify a new spectrum of planning-learning algorithms which ranges from exhaustive search (long planning) to model-free RL (no planning), with optimal performance achieved midway.

연구 동기 및 목표

• 모델기반 강화학습에서 계획과 학습 간의 계산적 트레이드오프를 조사하기 위해.
• 시간당 계획 예산이 순차적 결정 문제에서 학습 효율성과 최종 성능에 미치는 영향을 규명하기 위해.
• 모델-free RL과 완전한 탐색보다 뛰어난 성능을 내는 중간 계획 제도가 존재하는지 탐색하기 위해.
• 이중과정 이론에 영감을 받은 계획과 학습의 균형 잡힌 통합에 대한 경험적 증거를 제공하기 위해.

제안 방법

• 저자는 학습된 가치 함수를 사용해 계획을 수행하고 경험을 통해 가치 함수를 갱신하는 프레임워크인 다단계 근사 실시간 동적계획법(MSA-RTDP)을 사용한다.
• 고정된 총 계산 예산 하에 알려진 MDP 환경에서 실험을 수행하며, 시간당 계획 예산을 다양하게 설정한다.
• 계획 단계는 각 행동 선택에 대해 설정 가능한 수의 시뮬레이션을 사용하는 몬테카를로 트리 탐색(MCTS)을 사용한다.
• 학습 단계는 계획 동안 생성된 궤적과 실제 환경 상호작용을 기반으로 시간차분기반 학습을 통해 가치 함수를 갱신한다.
• 성능는 그리드월드와 아케이트 유사 환경을 포함한 다양한 도메인에서 평가되며, 최종 정책 품질은 누적 수익으로 측정된다.
• 하이퍼파ram터는 도메인당 한 번만 튜닝되며, 계획 예산을 체계적으로 변화시켜 그 영향을 분리한다.

실험 결과

연구 질문

• RQ1 모델기반 강화학습에서 성능을 최대화하기 위해 시간당 최적의 계획 예산은 무엇인가?
• RQ2 계획이 너무 짧을 경우(모델-free RL에 수렴)와 너무 길 경우(완전한 탐색에 수렴) 성능는 어떻게 변하는가?
• RQ3 계획과 학습의 균형 잡힌 통합이 고립된 각 접근보다 더 나은 성능을 낼 수 있는가?
• RQ4 계획과 학습 간의 트레이드오프는 스펙트럼으로 묘사될 수 있으며, 최적의 성능가능성이 중간 지점에서 달성되는가?

주요 결과

• 최적의 성능는 시간당 중간 수준의 계획 예산에서 달성되며, 계획을 전혀 하지 않거나 완전한 탐색을 하는 것과는 다릅니다.
• 과도한 계획은 학습 업데이트 수와 실제 환경 상호작용 수를 줄여 샘플 효율성과 최종 성능을 악화시킵니다.
• 부적절한 계획은 최적의 학습 목표를 제공하지 못해 가치 함수 근사가 열악하고 학습이 불안정해지게 합니다.
• 이 트레이드오프는 그리드월드와 아케이트 유사 도메인을 포함한 여러 환경에서 견고하며, 계획-학습 통합의 일반 원칙을 나타냅니다.
• 결과는 결정에서 빠른 히وري스틱 결정과 철저한 계획이 공존하고 상호 보완하는 이중과정 메커니즘이 존재함을 지지합니다.
• 향후 시스템에서 불확실성 또는 맥락에 기반한 적응형 계획 예산 도입이 성능 향상에 기여할 수 있음을 시사합니다.