[논문 리뷰] An Analysis of Frame-skipping in Reinforcement Learning

Shivaram Kalyanakrishnan, Siddharth Aravindan외 6명|arXiv (Cornell University)|2021. 02. 07.

Reinforcement Learning in Robotics참고 문헌 34인용 수 12

한 줄 요약

이 논문은 강화학습에서 프레임 스킵을 분석하여, 동작 반복을 통한 프레임 스킵이 가치 함수 추정의 渐近 일致성을 유지하고, 효과적 작업 수평을 줄여 학습을 향상시킬 수 있음을 보여준다. 프레임 스킵으로 인한 손실을 제한하기 위해 '관성의 가격'을 도입하였으며, 복잡한 작업인 로봇 축구의 수비 플레이에서 최적의 프레임 스킵 값(예: d=32)이 성능을 크게 향상시킴을 실험적으로 입증하였다.

ABSTRACT

In the practice of sequential decision making, agents are often designed to sense state at regular intervals of $d$ time steps, $d > 1$, ignoring state information in between sensing steps. While it is clear that this practice can reduce sensing and compute costs, recent results indicate a further benefit. On many Atari console games, reinforcement learning (RL) algorithms deliver substantially better policies when run with $d > 1$ -- in fact with $d$ even as high as $180$. In this paper, we investigate the role of the parameter $d$ in RL; $d$ is called the "frame-skip" parameter, since states in the Atari domain are images. For evaluating a fixed policy, we observe that under standard conditions, frame-skipping does not affect asymptotic consistency. Depending on other parameters, it can possibly even benefit learning. To use $d > 1$ in the control setting, one must first specify which $d$-step open-loop action sequences can be executed in between sensing steps. We focus on "action-repetition", the common restriction of this choice to $d$-length sequences of the same action. We define a task-dependent quantity called the "price of inertia", in terms of which we upper-bound the loss incurred by action-repetition. We show that this loss may be offset by the gain brought to learning by a smaller task horizon. Our analysis is supported by experiments on different tasks and learning algorithms.

연구 동기 및 목표

• 행동 반복으로 인한 제한된 행동 시퀀스로 인한 잠재적 손실에도 불구하고, 왜 프레임 스킵이 강화학습 성능을 향상시키는지 이해하기 위해.
• 선형 함수 근사에서의 예측 설정에서, 프레임 스킵 하에 가치 함수 추정의 일관성에 대해 공식적으로 분석하기 위해.
• 행동 반복으로 인한 성능 손실을 측정하기 위해 '관성의 가격'이라는 작업 특화 지표를 도입하여 정량화하기 위해.
• 이러한 손실에도 불구하고 프레임 스킵이 전체적으로 유익할 수 있는지, 특히 효과적 작업 수평이 감소하기 때문에 이를 조사하기 위해.
• 메타학습 프레임워크 내에서 다중 보상 밴딧 방법을 사용해 온라인으로 프레임 스킵 파라미터 d를 튜닝하는 효과성을 평가하기 위해.

제안 방법

• d ≥ 1일 때, d 단위 시간 간격마다 상태를 감지하는 것으로 프레임 스킵을 정의하고, 동일한 동작을 d번 반복하는 것을 기본 전략으로 삼는다.
• 행동 시퀀스를 반복으로 제한함으로써 발생하는 손실을 상한으로 제어하기 위해 작업에 따라 달라지는 측정치인 '관성의 가격'을 도입한다.
• 선형 함수 근사 하에서 프레임 스킵 하의 예측 일관성 분석을 수행하여, 가치 함수 추정이 渐近 일관성을 유지함을 증명한다.
• 프레임 스킵이 효과적 작업 수평을 줄여, 행동 반복으로 인한 손실을 상쇄하고 학습 효율성을 향상시킬 수 있음을 보여준다.
• 각 d가 암수로 간주되고, 전체 에피소드 동안 성능 평가가 이루어지는 다중 보상 밴딧 문제로 간주하여, EXP3.1 알고리즘을 사용해 온라인으로 d를 튜닝하는 메타-RL 접근법을 사용한다.
• 다양한 환경에서 Sarsa(λ)에 타일 코딩과 하이퍼파라미터 튜닝(α=0.1, ε=0.01, λ=0.8)을 적용하였으며, 아케이드 게임과 HFO 로봇 축구 환경을 포함한다.

실험 결과

연구 질문

• RQ1 선형 함수 근사 하에서 행동 반복을 통한 프레임 스킵이 가치 함수 추정의 渐近 일관성을 유지하는가?
• RQ2 행동 반복으로 인한 성능 손실에 대한 이론적 상한은 무엇이며, 이는 작업 간에 어떻게 달라지는가?
• RQ3 프레임 스킵으로 인한 효과적 작업 수평의 감소가 행동 반복으로 인한 손실을 상쇄할 수 있는가? 이는 학습 향상으로 이어지는가?
• RQ4 메타학습 접근법을 사용해 온라인으로 프레임 스킵 파라미터 d를 자동 튜닝할 수 있는가? 고정된 d와 비교해 성능은 어떻게 되는가?
• RQ5 장기적인 행동 시퀀스가 필요한 작업, 예를 들어 로봇 축구의 수비 플레이에서 행동 반복은 탐색과 학습 성공에 어떤 영향을 미치는가?

주요 결과

• 선형 함수 근사 하에서 행동 반복을 통한 프레임 스킵이 가치 함수 추정의 渐近 일관성을 유지하여 안정적인 학습을 보장한다.
• '관성의 가격'은 행동 반복으로 인한 성능 손실에 대한 이론적 상한을 제공하며, 이는 작업에 따라 달라지며 효과적 작업 수평이 짧아짐으로써 상쇄될 수 있다.
• 2v2 HFO 축구 환경에서, d=32를 사용한 Sarsa가 2010/2012 로보컵 챔피언 수비수를 능가하였으며, d=128일 경우 15%의 성공률를 기록한 반면 d=1일 경우 10%에 그쳤다.
• EXP3.1 기반 메타알고리즘은 {1,2,4,8,16,32,64,81,151} 중에서 d=31을 최적으로 식별하였으며, 빠른 수렴 덕분에 d=81과 d=151도 자주 선택되었다.
• 행동 반복은 탐색을 크게 향상시켜 HFO 수비 작업에서 성공률를 d=1일 경우 10%에서 d=128일 경우 15%로 높였다.
• d를 상태-행동 공간의 일부로 간주하는 FiGAR-Sarsa는 학습 성능가 향상되었지만, 50,000 에피소드 후에도 고정된 d=32를 사용한 Sarsa에 비해 성능이 열 劣하다.