[논문 리뷰] Hindsight Trust Region Policy Optimization

Han‐Bo Zhang, Site Bai외 3명|arXiv (Cornell University)|2019. 07. 29.

Reinforcement Learning in Robotics참고 문헌 38인용 수 8

한 줄 요약

후회 학습을 통합한 신뢰영역정책최적화(HTRPO)는 샘플 효율성과 희박보상 강화학습 환경에서의 안정성을 향상시키기 위해 TRPO를 확장한다. 이중 KLD의 이차근사(QKL)와 후회목표필터링(HGF)을 도입함으로써 HTRPO는 Atari 게임, 로봇 제어, 벤치마크 작업 전반에서 TRPO 및 HPG보다 뛰어난 성능과 안정성을 달성한다. 성공률 향상과 수렴 속도 향상 측면에서 일관된 개선 효과를 보였다.

ABSTRACT

Reinforcement Learning(RL) with sparse rewards is a major challenge. We propose \emph{Hindsight Trust Region Policy Optimization}(HTRPO), a new RL algorithm that extends the highly successful TRPO algorithm with \emph{hindsight} to tackle the challenge of sparse rewards. Hindsight refers to the algorithm's ability to learn from information across goals, including ones not intended for the current task. HTRPO leverages two main ideas. It introduces QKL, a quadratic approximation to the KL divergence constraint on the trust region, leading to reduced variance in KL divergence estimation and improved stability in policy update. It also presents Hindsight Goal Filtering(HGF) to select conductive hindsight goals. In experiments, we evaluate HTRPO in various sparse reward tasks, including simple benchmarks, image-based Atari games, and simulated robot control. Ablation studies indicate that QKL and HGF contribute greatly to learning stability and high performance. Comparison results show that in all tasks, HTRPO consistently outperforms both TRPO and HPG, a state-of-the-art algorithm for RL with sparse rewards.

연구 동기 및 목표

• 초기 탐색 과정에서 희박한 피드백으로 인해 정책 수렴이 어려운 희박보상 강화학습의 과제를 해결한다.
• 신뢰영역 최적화와 후회 경험 재생을 통합하여 정책 그래디언트 방법의 샘플 효율성과 학습 안정성을 향상시킨다.
• 특히 후회 데이터와 결합된 경우에 발생하는 KLD 추정의 높은 분산과 불안정한 정책 업데이트 문제를 해결한다.
• 복잡한 환경에서 원래 작업 목표로 향하는 데 효과적으로 도움이 되는 정보성 후회 목표를 선택하는 방법을 개발한다.
• HTRPO가 TRPO의 이론적 수렴 성질을 유지하면서도 희박보상 환경에서 실용적 성능과 안정성을 크게 향상시킨다는 것을 입증한다.

제안 방법

• 과거 트레이젝터리에서 얻은 원래 목표와 달성 목표를 모두 활용할 수 있는 TRPO의 후회 형식을 유도한다.
• 낮은 분산과 정확한 KLD 제약 조건 근사치를 제공하는 이차 KLD(QKL) 추정을 도입하여 정책 업데이트의 안정성을 높인다.
• 정책 최적화 중 이완정책 업데이트의 분산을 줄이기 위해 가중치 기반 중요도 샘플링(WIS)을 적용한다.
• 원래 목표 공간을 더 잘 커버하는 후회 목표를 선택하여 일반화 능력과 성공률을 향상시키는 후회 목표 필터링(HGF)을 설계한다.
• 선형 탐색과 공액 기울기 최적화를 사용한 신뢰영역 프레임워크를 활용해 정책 개선이 단조롭게 이루어지도록 보장한다.
• 모든 가능한 목표에 대해 정책 그래디언트를 계산하기 위해 후회 설정에서 목표 조건부 가치 함수와 이점 함수를 활용한다.

실험 결과

연구 질문

• RQ1 후회 학습이 TRPO의 신뢰영역 프레임워크에 효과적으로 통합되어 희박보상 RL에서 샘플 효율성을 향상시킬 수 있는가?
• RQ2 제안된 QKL 추정 방법이 기존 KLD 추정 대비 분산을 줄이고 학습 안정성을 향상시키는가?
• RQ3 후회 목표 필터링(HGF)이 더 정보성 있는 후회 목표를 선택하여 학습 성능을 어느 정도 향상시키는가?
• RQ4 다양한 희박보상 작업에서 HTRPO는 HPG 및 TRPO와 비교해 최종 성능, 수렴 속도, 샘플 효율성 측면에서 어떻게 비교되는가?
• RQ5 HTRPO는 복잡한 환경에서 실용적 성능 향상을 이끌어내면서도 TRPO의 이론적 수렴 보장을 유지하는가?

주요 결과

• HTRPO는 7개의 벤치마크 작업 전반에서 TRPO 및 HPG를 일관되게 능가하며, 이산 및 연속 제어 환경 모두에서 더 높은 최종 성공률과 더 빠른 수렴 속도를 달성한다.
• 어려운 Fetch PickAndPlace 작업에서 HTRPO는 HPG 대비 성공률을 60% 높여 샘플 효율성과 안정성 측면에서 뛰어난 성능을 입증한다.
• 제거 실험을 통해 QKL가 KLD 추정의 분산을 줄이고 더 정확한 신뢰영역 업데이트를 가능하게 하여 고분산 후회 데이터에서도 안정적인 학습이 가능하다는 점을 확인했다.
• 후회 목표 필터링(HGF)은 Fetch PickAndPlace와 같은 복잡한 작업에서 성능을 크게 향상시키며, HGF 없이 HTRPO를 사용한 경우 대비 성공률이 40% 이상 증가했다.
• 가중치 기반 중요도 샘플링(WIS)은 특히 복잡한 환경에서 이완정책 업데이트의 분산을 줄였으며, FetchPushC에서 훈련 배치당 평균 효과적 샘플 크기(ESS)가 11.6k에 이르렀다.
• HTRPO는 TRPO의 이론적 수렴 성질을 유지하면서도 더 뛰어난 실용적 성능을 달성하여, 희박보상 환경에서의 안정성과 신뢰성을 확인했다.