[논문 리뷰] TempoRL: Learning When to Act

André Biedenkapp, Raghu Rajan외 2명|arXiv (Cornell University)|2021. 06. 09.

Reinforcement Learning in Robotics참고 문헌 35인용 수 6

한 줄 요약

TempoRL는 MDP에 스킵 커넥션을 도입하여 에이전트가 *어떤* 행동을 취할 것인지뿐만 아니라 *언제* 새로운 결정을 내릴 것인지를 학습하는 능동형 강화학습 프레임워크를 제안한다. 이는 에이전트가 다수의 단계 동안 동일한 행동을 유지하도록 해주며, 표준 DQN 대비 최대 10배 빠른 학습을 가능하게 하며, 학습된 결정 시점 덕분에 샘플 효율성과 해석 가능성 향상에 기여한다.

ABSTRACT

Reinforcement learning is a powerful approach to learn behaviour through interactions with an environment. However, behaviours are usually learned in a purely reactive fashion, where an appropriate action is selected based on an observation. In this form, it is challenging to learn when it is necessary to execute new decisions. This makes learning inefficient, especially in environments that need various degrees of fine and coarse control. To address this, we propose a proactive setting in which the agent not only selects an action in a state but also for how long to commit to that action. Our TempoRL approach introduces skip connections between states and learns a skip-policy for repeating the same action along these skips. We demonstrate the effectiveness of TempoRL on a variety of traditional and deep RL environments, showing that our approach is capable of learning successful policies up to an order of magnitude faster than vanilla Q-learning.

연구 동기 및 목표

• 반응형 강화학습의 한계를 해결하기 위해, 환경의 구조에 대한 사전 지식 없이 *언제* 새로운 결정을 내릴지를 학습할 수 있도록 하는 것.
• 세밀한 제어와 거친 제어가 동시에 필요한 환경에서 행동 반복을 통한 시간적 추상화를 통해 학습 효율성을 향상시키는 것.
• 환경의 구조나 최적의 스킵 길이에 대한 사전 지식 없이도 결정 시점 학습을 가능하게 하는 방법 개발.
• 학습된 결정 시점 덕분에 에이전트가 핵심 상태에서 새로운 행동이 필요한 지점을 명시할 수 있도록 해석 가능성 향상.

제안 방법

• 에이전트가 연속된 다수의 상태에서 동일한 행동을 반복할 수 있도록 MDP 프레임워크에 스킵 커넥션을 도입한다.
• 에이전트가 행동을 유지할 시간(스킵 길이)을 결정하는 스킵 정책을 학습하는 스킵-MDP 설정을 정의한다.
• 행동 정책과 스킵 길이 선택을 동시에 최적화하기 위한 계층적 학습 메커니즘을 사용한다.
• 표준 딥 Q네트워크(DQN)와 수정된 손실 함수를 사용한 함수 근사 기법을 활용해 두 정책을 엔드 투 엔드로 동시에 학습시킨다.
• 프레임 스킵과 유사한 동작 방식을 취하지만, 고정된 스킵 길이가 아니라 동적으로 스킵 길이를 학습한다.
• DQN와 유사하게 경험 재생과 타겟 네트워크를 사용해 학습을 안정화시키며, 스킵 스텝을 통해 확장된 시간적 맥락을 제공한다.

실험 결과

연구 질문

• RQ1 사전에 환경의 구조를 알지 못하는 상황에서 능동형 RL 에이전트가 *언제* 새로운 결정을 내릴지를 학습할 수 있는가?
• RQ2 행동 스킵을 학습함으로써 표본 효율성과 수렴 속도가 표본화된 환경과 딥 RL 환경 모두에서 향상되는가?
• RQ3 고정된 프레임 스킵 또는 옵션 기반 방법과 비교해 동적으로 스킵 길이를 학습하는 방식의 성능은 어떠한가?
• RQ4 복잡한 환경에서 핵심 결정 상태를 식별함으로써 TempoRL이 얼마나 해석 가능성을 향상시키는가?
• RQ5 탐색 전략, 네트워크 아키텍처, 최대 스킵 길이 하이퍼파라미터의 변화에 대해 TempoRL의 성능은 얼마나 견고한가?

주요 결과

• TempoRL은 그리드 월드와 아케이드 게임을 포함한 다양한 환경에서 표준 DQN 대비 최대 10배 빠른 학습을 달성한다.
• 더 긴, 학습된 스킵 시퀀스를 통해 더 나은 탐색이 가능해지면서 샘플 효율성이 크게 향상된다.
• MoutainCar 환경에서는 충분한 운동량이 축적된 후 최대 10단계의 큰 스킵을 사용하며, 방향을 전환한 후에도 높은 스킵 길이를 유지한다.
• Qbert에서는 대각선 플랫폼을 효율적으로 점등하기 위해 큰 스킵을 사용함으로써 필요한 결정 수를 줄인다.
• 스킵 정책은 중요하지 않은 상태에서는 불필요한 행동을 피하며, 시각화 결과에서 핵심 결정 지점이 명확하게 식별된다.
• 세밀한 제어 환경에서도 DQN, DAR, FiGAR와 같은 기준 모델에 비해 학습 속도와 최종 성능 모두에서 TempoRL이 뛰어난 성능을 보인다.