[논문 리뷰] Online Reinforcement Learning for Real-Time Exploration in Continuous State and Action Markov Decision Processes

Ludovic Hofer, Hugo Gimbert|arXiv (Cornell University)|2016. 12. 12.

Reinforcement Learning in Robotics참고 문헌 18인용 수 4

한 줄 요약

이 논문은 연속 상태 및 행동을 가진 마르코프 결정 과정(MDP)를 위한 모델 프리 온라인 강화 학습 방법인 Fitted Policy Forest(FPF) 알고리즘을 소개한다. FPF는 대수적 시간 복잡도로 행동 선택을 수행함으로써 실시간 정책 추론을 가능하게 하며, Q-값을 위한 회귀 숲을 구성하고, 재표본 추출 및 잎 합치기를 통해 이를 압축된 정책 트리로 변환한다. 이로 인해 사전 구조적 가정 없이도 낮은 계산 비용과 뛰어난 성능을 달성하며, FQI 및 BAS와 같은 기존 방법들을 능가한다. 특히 불확실한 환경인 역퍼레드럼(Inverted Pendulum)에서 뛰어난 성능을 보인다.

ABSTRACT

This paper presents a new method to learn online policies in continuous state, continuous action, model-free Markov decision processes, with two properties that are crucial for practical applications. First, the policies are implementable with a very low computational cost: once the policy is computed, the action corresponding to a given state is obtained in logarithmic time with respect to the number of samples used. Second, our method is versatile: it does not rely on any a priori knowledge of the structure of optimal policies. We build upon the Fitted Q-iteration algorithm which represents the $Q$-value as the average of several regression trees. Our algorithm, the Fitted Policy Forest algorithm (FPF), computes a regression forest representing the Q-value and transforms it into a single tree representing the policy, while keeping control on the size of the policy using resampling and leaf merging. We introduce an adaptation of Multi-Resolution Exploration (MRE) which is particularly suited to FPF. We assess the performance of FPF on three classical benchmarks for reinforcement learning: the "Inverted Pendulum", the "Double Integrator" and "Car on the Hill" and show that FPF equals or outperforms other algorithms, although these algorithms rely on the use of particular representations of the policies, especially chosen in order to fit each of the three problems. Finally, we exhibit that the combination of FPF and MRE allows to find nearly optimal solutions in problems where $ε$-greedy approaches would fail.

연구 동기 및 목표

• 연속 상태 및 행동을 가진 마르코프 결정 과정(MDP)를 위한 모델 프리 온라인 강화 학습 알고리즘을 개발하여 실시간 정책 추론을 지원한다.
• 정책 계산 후에 표본 수에 대해 대수적 시간 복잡도로 낮은 계산 비용의 행동 선택을 가능하게 하여 임베디드 로봇 시스템에 적합하게 한다.
• 최적 정책의 구조에 대한 사전 지식이 필요로 하지 않는 다재다능한 방법을 설계하여 수작업으로 만든 기저 함수에 의존하지 않도록 한다.
• 고차원적이고 불확실한 제어 문제에서 효과적인 탐색을 위해 FPF를 다중 해상도 탐색(Multi-Resolution Exploration, MRE)과 통합한다.
• 초기 설정 조정 없이도 복잡한 제어 벤치마크인 역퍼레드럼, 더블 인테그레이터, 언덕 위의 자동차 문제를 성공적으로 해결할 수 있음을 입증한다.

제안 방법

• FPF는 Fitted Q-Iteration에서 유도된 Q-값 함수를 표현하기 위해 회귀 숲을 사용하여 부드럽고 효율적인 Q-값 근사가 가능하다.
• 각 상태에서 Q-값을 최대화하는 행동을 추출하여 Q-값 숲을 단일 정책 트리로 변환하며, 정책 크기를 제어하기 위해 재표본 추출 및 잎 합치기를 사용한다.
• 정책 표현의 부드러움과 일반화 성능을 향상시키기 위해 극단적으로 랜덤화된 트리의 영감을 받은 랜덤화된 분할 전략을 적용한다.
• 상태-행동 지식을 kd-트리로 추적하여 낙관적인 탐색을 유지하기 위해 MRE를 적응적으로 적용하며, 탐색 효율성을 향상시키기 위해 랜덤 분할을 사용한다.
• 지역 최대값에 대한 끌림을 줄이기 위해 Q-값 갱신 규칙을 수정하여 불확실한 환경에서의 수렴 성능을 향상시킨다.
• 정책 근사에는 조각별 선형(PWL) 또는 조각별 상수(PWC) 함수를 사용하며, 최적 정책이 번-번 정책인 경우에도 PWC가 성능을 유지함을 입증했다.

실험 결과

연구 질문

• RQ1 회귀 숲에서 유도된 정책가 실시간으로 저비용 행동 추론을 연속 MDP에서 수행할 수 있는가?
• RQ2 사전 구조적 가정 없이도 FPF가 FQI 및 BAS와 같은 기존 방법보다 불확실한 연속 제어 문제에서 승리하는가?
• RQ3 FPF와 MRE의 조합이 수동 하이퍼파라미터 조정 없이 효과적인 탐색을 가능하게 하는가?
• RQ4 조각별 선형 정책 근사 사용이 조각별 상수 근사와 비교해 성능에 어떤 영향을 미치는가?
• RQ5 FPF의 다재다능함이 다양한 제어 벤치마크 간 일반화에 얼마나 기여하는가?

주요 결과

• FPF는 정책 계산 후에 대수적 시간 복잡도로 행동 선택을 수행하여 실시간 임베디드 제어 시스템에 적합하다.
• 역퍼레드럼 스윙업 작업에서 FPF는 FQI 및 BAS를 능가했으며, 특히 불확실한 설정에서 뛰어난 성능을 보였다. 최고의 정책은 100단계 동안 누적 보상 -101을 기록했다.
• 500개의 평가 에피소드에 걸친 보상 분포는 높은 변동성을 보였으며, 최고의 정책는 최악의 정책보다 유의미하게 높은 평균 성능를 기록하여, 여러 정책을 생성했을 때의 강력한 신뢰성을 입증했다.
• FPF:PWL(조각별 선형 정책 근사)은 세 가지 벤치마크 중 두 곳에서 FPF:PWC(조각별 상수 근사)를 능가했고, 나머지 한 곳에선 성능이 동일했으며, 이는 최적 정책이 번-번일 경우에도 강건함을 보였다.
• FPF와 MRE의 조합은 하이퍼파라미터 조정 없이도 효과적인 탐색을 가능하게 하였으며, ε-그리디 방법이 실패하는 문제에서 거의 최적의 해를 지속적으로 찾는 데 성공했다.
• 이 방법의 다재다능함은 세 가지 서로 다른 벤치마크에서 검증되었으며, 문제에 특화된 기저 함수 설계 없이도 뛰어난 성능을 보였다.