[논문 리뷰] Heuristic-Guided Reinforcement Learning

Ching-An Cheng, Andrey Kolobov외 1명|arXiv (Cornell University)|2021. 06. 05.

Reinforcement Learning in Robotics참고 문헌 56인용 수 14

한 줄 요약

이 논문은 히어리스틱 값 함수를 사용하여 보상 함수를 재설정하고 결정의 유효 기간을 단축시켜 강화학습(Reinforcement Learning, RL)의 학습 속도를 높이는 Heuristic-Guided Reinforcement Learning (HuRL) 프레임워크를 소개한다. 도메인 지식이나 오프라인 데이터를 히어리스틱으로 통합함으로써, 수렴 기간 기반 정규화를 통해 더 빠른 학습을 가능하게 하며, 편향-분산 트레이드오프에 대한 이론적 보장과 로봇 제어 및 절차적 게임에서의 실증적 검증을 제공한다.

ABSTRACT

We provide a framework for accelerating reinforcement learning (RL) algorithms by heuristics constructed from domain knowledge or offline data. Tabula rasa RL algorithms require environment interactions or computation that scales with the horizon of the sequential decision-making task. Using our framework, we show how heuristic-guided RL induces a much shorter-horizon subproblem that provably solves the original task. Our framework can be viewed as a horizon-based regularization for controlling bias and variance in RL under a finite interaction budget. On the theoretical side, we characterize properties of a good heuristic and its impact on RL acceleration. In particular, we introduce the novel concept of an improvable heuristic, a heuristic that allows an RL agent to extrapolate beyond its prior knowledge. On the empirical side, we instantiate our framework to accelerate several state-of-the-art algorithms in simulated robotic control tasks and procedurally generated games. Our framework complements the rich literature on warm-starting RL with expert demonstrations or exploratory datasets, and introduces a principled method for injecting prior knowledge into RL.

연구 동기 및 목표

• 장기 결정 기간을 가진 작업에서 표면적 강화학습(Reinforcement Learning, RL)의 높은 샘플 및 계산 비용 문제를 해결한다.
• 기존의 온라인 초기화 방법들이 결정 기간에 따라 달라지는 복잡성에 명시적으로 대응하지 못하는 한계를 극복한다.
• 선지식을 히어리스틱을 통해 강화학습에 통합함으로써, 정책 품질을 해치지 않으면서 학습 속도를 가속화할 수 있는 체계적인 프레임워크를 제공한다.
• 결정 기간 기반 정규화를 통해 강화학습에서 편향과 분산의 상호관계를 이론적으로 분석한다.
• 효과적인 히어리스틱 기반 학습을 위한 필수 조건으로서의 '개선 가능한 히어리스틱(improvable heuristic)' 개념을 도입하고 형식화한다.

제안 방법

• 재설정된 보상 함수 $\tR(s,a) = r(s,a) + (1-\backslashlambda)\backslashgamma \tE_{s' \backsim P(\cdot|s,a)}[h(s')]$ 와 감소된 할인율 $\tG = \backslashlambda \backslashgamma$ 를 가진 새로운 MDP $\tM = (\tS, \tA, \tP, \tR, \tG)$ 를 정의한다.
• 혼합 계수 $\lambda \in [0,1]$ 를 사용하여 유효 결정 기간을 제어한다: $\lambda=1$ 은 원래 MDP를 복원하고, $\lambda=0$ 은 이를 연속적 밴드잇( contextual bandit)으로 단순화한다.
• 오프라인 데이터에서 페널티를 포함한 오프라인 강화학습 알고리즘(예: 페널티 가치 반복)을 사용하여 히어리스틱 $h$ 를 구성함으로써 강건성을 확보한다.
• '개선 가능한 히어리스틱(improvable heuristic)'의 개념을 형식화한다 — 즉, 강화학습 에이전트가 기존 지식을 초월해 외삽할 수 있도록 허용하는 히어리스틱이다.
• 최신 강화학습 알고리즘(SAC, PPO 등)과 프레임워크를 통합하여 시뮬레이션 환경에서의 학습을 가속화한다.
• HuRL 하에서 편향-분산 분해의 이론적 분 析를 제공하며, 학습 가속화가 보장되는 조건을 밝혀낸다.

실험 결과

연구 질문

• RQ1 강화학습에서 솔루션 품질을 훼손하지 않으면서, 히어리스틱 값 함수를 어떻게 사용하여 유효 결정 기간을 단축시킬 수 있는가?
• RQ2 히어리스틱이 강화학습에서 더 빠르고 안정적인 학습을 이끌어내는 데 필요한 이론적 조건은 무엇인가?
• RQ3 특히 편향과 분산 트레이드오프 측면에서, HuRL 맥락에서 '좋은 히어리스틱'을 정의하는 데 필요한 특성은 무엇인가?
• RQ4 오프라인 데이터나 전문가 시연로부터 유도된 히어리스틱이 온라인 강화학습을 가속화하는 데 대해 증명 가능하게 효과적인가?
• RQ5 샘플 효율성과 수렴 속도 측면에서, HuRL은 보상 재설정(PBRS) 또는 이mitation learning와 같은 기존 방법들과 비교해 어떻게 다를 수 있는가?

주요 결과

• HuRL은 뚜렷한 샘플 효율성 향상을 보였다: 절차적 게임에서 표준 SAC 및 PPO 대비 샘플 복잡도를 최대 50%까지 감소시켰다.
• MuJoCo 로봇 제어 작업에서 HuRL은 수렴 속도를 높였으며, 잘 구성된 히어리스틱을 사용할 경우 더 적은 환경 상호작용 수로 목표 성능에 도달하는 데 성공했다.
• 실증 결과는 페널티 오프라인 강화학습(예: 페널티 가치 반복)을 통해 유도된 히어리스틱이 안정적이고 효과적인 학습을 이끌어내며, 이론적으로 제안된 '개선 가능한 히어리스틱'의 개념을 검증했다.
• 제거 실험 결과, 혼합 계수 $\lambda$ 가 편향-분산 트레이드오프를 제어하는 것으로 확인되었으며, 중간 값($\lambda \approx 0.5$)에서 최적의 성능을 보였다.
• 단순히 전문가 시범이나 내재적 호기심을 사용하는 기준 방법보다 HuRL이 뛰어난 성능을 보였으며, 이는 히어리스틱 기반 정규화의 상호보완적 가치를 입증한다.
• 이론적 분석을 통해 HuRL의 결정 기간 기반 정규화가 특히 장기 결정 기간 작업에서 유효 샘플 복잡도를 감소시킨다는 점을 확인했다.