[논문 리뷰] Exploratory Gradient Boosting for Reinforcement Learning in Complex Domains

David Abel, Alekh Agarwal외 3명|arXiv (Cornell University)|2016. 03. 14.

Reinforcement Learning in Robotics참고 문헌 27인용 수 24

한 줄 요약

이 논문은 고차원적 시각 환경에서 강화학습을 향상시키기 위해 경사 상승 기반 함수 근사와 불확실성 하에서의 정보 확보(IAUU) 탐색 전략을 결합한 일반화된 탐색 Q-학습(GEQL)을 소개한다. 이 방법은 픽셀 기반 관측을 사용하는 복잡한 마인크래프트 작업에서 기준선보다 뚜렷한 성능 향상을 보이며, 표준 접근 방식이 실패하는 상황에서도 효과적인 학습을 가능하게 한다.

ABSTRACT

High-dimensional observations and complex real-world dynamics present major challenges in reinforcement learning for both function approximation and exploration. We address both of these challenges with two complementary techniques: First, we develop a gradient-boosting style, non-parametric function approximator for learning on $Q$-function residuals. And second, we propose an exploration strategy inspired by the principles of state abstraction and information acquisition under uncertainty. We demonstrate the empirical effectiveness of these techniques, first, as a preliminary check, on two standard tasks (Blackjack and $n$-Chain), and then on two much larger and more realistic tasks with high-dimensional observation spaces. Specifically, we introduce two benchmarks built within the game Minecraft where the observations are pixel arrays of the agent's visual field. A combination of our two algorithmic techniques performs competitively on the standard reinforcement-learning tasks while consistently and substantially outperforming baselines on the two tasks with high-dimensional observation spaces. The new function approximator, exploration strategy, and evaluation benchmarks are each of independent interest in the pursuit of reinforcement-learning methods that scale to real-world domains.

연구 동기 및 목표

• 고차원적이고 복잡한 강화학습 도메인에서 시각 관측이 있는 경우 기능 근사와 탐색의 과제를 해결하기 위해.
• CPU에서 계산적으로 효율적이고 훈련 가능한 비모수적 경사 상승 기반 기능 근사기로 Q-함수 잔차를 근사하기 위해.
• 상태 추상화와 불확실성 하에서의 정보 확보에 영감을 받은 탐색 전략을 설계하여, 에psilon-greedy 및 균일 탐색보다 향상된 성능을 내기 위해.
• 표준 표본 탭룰러 작업과 마인크래프트의 대규모 시각 작업에서 방법을 평가하여 확장성과 강건성을 입증하기 위해.
• 시각 강화학습을 위한 새로운 벤치마크를 마인크래프트에 도입하여, 고차원적이고 복잡한 작업에서 에이전트의 재현 가능한 평가를 가능하게 하기 위해.

제안 방법

• 강화학습의 시간 차분 학습에 적응된, 지도 학습의 부스팅과 유사하지만 부스팅 방식의 기능 근사기를 제안하며, 이는 Q-함수 잔차에 대해 반복적으로 학습한다.
• 각 새로운 약한 학습기가 누적 Q-추정치의 오차를 수정하는 잔차 학습 프레임워크를 사용하며, 깊은 신경망이 필요 없이 효과적인 비선형 기능 근사를 가능하게 한다.
• 행동의 예측 정보 수익을 추정하여 새로운 행동 적용을 장려하는 불확실성 하에서의 정보 확보(IAUU) 기반 탐색 전략을 도입한다.
• 유사한 관측을 추상 상태로 그룹화하는 상태 압축 함수를 사용하여, 정책 표현력에 영향을 주지 않으면서 탐색을 안내한다.
• 경사 상승 기반 기능 근사기와 IAUU 탐색 전략을 하나의 알고리즘인 GEQL에 통합하며, 가치 추정과 탐색을 동시에 개선하기 위해 학습과 데이터 수집을 번갈아 수행한다.
• 원시 픽셀 관측을 입력으로 사용하여, AIX 플랫폼을 활용해 마인크래프트 내 두 개의 고차원적 시각 작업에서 방법을 구현하고 평가한다.

실험 결과

연구 질문

• RQ1 경사 상승 기반 기능 근사가 GPU 가속을 요구하지 않고도 고차원적 시각 관측에 대해 강화학습에서 효과적으로 확장될 수 있는가?
• RQ2 불확실성 하에서의 정보 확보(IAUU) 기반 탐색 전략이 복잡하고 부분 관측 가능한 환경에서 표준적인 에psilon-greedy 및 균일 탐색보다 우수한 성능을 보일 수 있는가?
• RQ3 경사 상승과 IAUU 탐색 전략의 조합이 마인크래프트와 같은 대규모 시각 작업에서 더 뛰어난 샘플 효율성과 성능을 달성할 수 있는가?
• RQ4 제안된 방법은 표준 표본 탭룰러 작업과 고차원적 관측이 있는 복잡한 시각 작업 모두에서 표준 기준선과 비교해 어떻게 성능을 내는가?
• RQ5 AIX 플랫폼이 마인크래프트에서 시각 강화학습 벤치마크의 개발과 평가를 얼마나 잘 지원할 수 있는가?

주요 결과

• 마인크래프트의 시각적 언덕 등반 작업에서, 경사 부스터와 IAUU 탐색 전략을 사용한 GEQL은 뚜렷한 학습을 달성했으며, 에피소드의 마지막 4분의 1 동안 고도가 크게 증가함으로써 효과적인 정책 확보를 나타냈다.
• 경사 부스터만으로도 선형, 랜덤 포레스트 또는 배치 부스팅 기준선보다 훨씬 나은 정책을 학습했으며, IAUU 전략이 성능 향상에 기여했다.
• 시각적 격자 세계 작업에서는 표준 기준선과 경쟁 가능한 성능을 보였으며, 더 단순한 환경에서도 효과성을 확인했다.
• 두 고차원 마인크래프트 작업에서 경사 상승과 IAUU 탐색 전략의 조합은 모든 기준선을 뛰어넘었으며, 상당하고 안정적인 성과 향상을 보였다.
• 에이전트는 부분 관측성과 가림을 견뎌내며 복잡한 언덕을 성공적으로 식별하고 등반하는 정책을 학습했으며, 이는 양의 보상을 얻는 데 성공했음을 의미한다.
• 시간에 따른 고도 프로파일은 에피소드가 진행됨에 따라 에이전트의 성능이 뚜렷이 향상되었으며, 점점 더 높은 고도에 도달하는 데 효과적인 정책이 되었다.