[논문 리뷰] Dimension-Wise Importance Sampling Weight Clipping for Sample-Efficient Reinforcement Learning

Seungyul Han, Youngchul Sung|arXiv (Cornell University)|2019. 05. 07.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

이 논문은 차원별 중요도 샘플링 가중치 클리핑(DISC)을 제안하며, 이는 행동 차원별로 중요도 샘플링 가중치를 독립적으로 클리핑하여 기울기 소실과 편향을 줄임으로써 Proximal Policy Optimization(PPO)을 향상시키는 샘플 효율적인 강화학습 알고리즘이다. GAE-V를 사용한 이점 추정과 결합함으로써, 이 방법은 비정책 데이터를 효과적으로 재사용할 수 있게 되어, OpenAI Gym 환경에서 고차원 연속 제어 작업에서 성능을 크게 향상시키며, HumanoidStandup 포함 여섯 가지 벤치마크 중 다섯 곳에서 최신 기술 수준(SOTA) 성능을 기록한다.

ABSTRACT

In importance sampling (IS)-based reinforcement learning algorithms such as Proximal Policy Optimization (PPO), IS weights are typically clipped to avoid large variance in learning. However, policy update from clipped statistics induces large bias in tasks with high action dimensions, and bias from clipping makes it difficult to reuse old samples with large IS weights. In this paper, we consider PPO, a representative on-policy algorithm, and propose its improvement by dimension-wise IS weight clipping which separately clips the IS weight of each action dimension to avoid large bias and adaptively controls the IS weight to bound policy update from the current policy. This new technique enables efficient learning for high action-dimensional tasks and reusing of old samples like in off-policy learning to increase the sample efficiency. Numerical results show that the proposed new algorithm outperforms PPO and other RL algorithms in various Open AI Gym tasks.

연구 동기 및 목표

• PPO와 같은 온정책 알고리즘을 사용할 때 고행동 차원 수의 연속 제어 작업에서 샘플 비효율성을 해결하기 위해.
• PPO에서 전역 중요도 샘플링 가중치 클리핑으로 인한 편향과 기울기 소실을 줄이기 위해.
• 온정책 학습에서 비정책 데이터를 효과적으로 재사용하여 샘플 효율성을 향상시키기 위해.
• 환경에 따라 수동으로 하이퍼파rameter를 조정할 필요 없이 다양한 환경에서 안정적이고 확장 가능한 성능을 유지하는 방법을 개발하기 위해.

제안 방법

• 각 행동 차원의 중요도 샘플링(IS) 가중치를 총 가능성 비율이 아닌 독립적으로 클리핑하는 차원별 중요도 샘플링(IS) 가중치 클리핑을 제안한다.
• 클리핑되지 않은 차원이 학습에 기여할 수 있도록 허용함으로써 기울기 신호를 유지하는 수정된 정책 갱신을 도입하여 편향을 줄이고 기울기 완전 소실을 방지한다.
• 일반화된 이점 추정(GAE)과 V-trace를 조합한(GAE-V) 이점을 추정하여 비정책 궤적에서 안정적인 가치 추정을 가능하게 한다.
• 현재 정책 갱신에 온정책 데이터를 사용하면서도 이전 반복에서 얻은 비정책 데이터 배치를 재사용함으로써 데이터 효율성을 향상시키는 하이브리드 학습 전략을 구현한다.
• 클리핑된 IS 가중치를 사용한 경험 위험 최소화를 통해 정책 갱신을 제한하고 학습 안정성을 확보한다.
• PPO 목적 함수를 수정하여 차원별 클리핑을 통합함으로써 신뢰 영역 유사 행동을 유지하면서 기울기 흐름을 향상시킨다.

실험 결과

연구 질문

• RQ1 표준 PPO와 비교해 볼 때, 고차원 행동 공간에서 차원별 IS 가중치 클리핑이 편향과 기울기 소실을 줄이는 데 얼마나 효과적인가?
• RQ2 안정성에 해를 끼치지 않으면서도, PPO와 같은 온정책 RL 프레임워크에서 비정책 데이터를 얼마나 효과적으로 재사용할 수 있는가?
• RQ3 GAE와 V-trace를 조합한(GAE-V) 방식이 온정책 알고리즘에 적합한 비정책 궤적에서 정확한 이점을 추정하는 데 기여하는가?
• RQ4 고차원 Mujoco 작업에서 최신 기술 수준의 온정책 및 비정책 RL 알고리즘과 비교해 볼 때, 제안된 DISC 알고리즘이 샘플 효율성과 최종 성능에서 얼마나 뛰어난가?

주요 결과

• DISC는 Mujoco 벤치마크 작업의 여섯 곳 중 다섯 곳에서 평균 수익이 가장 높으며, 행동 차원이 17개인 HumanoidStandup에서도 성능이 뛰어나다.
• HumanoidStandup 환경에서 DISC는 최대 평균 수익 246,435.89를 기록하여 다음으로 우수한 방법인 Trust-PCL(139,513.04)를 크게 앞서며 성능을 뛰어나게 한다.
• DISC는 다양한 연속 제어 작업에서 PPO 및 SAC, TD3, DDPG와 같은 최신 기술 수준의 알고리즘을 일관되게 능가한다.
• 알고리즘은 최소한의 하이퍼파rameter 조정으로도 환경 간에 안정적이고 일반화된 성능을 보이며, 이는 강건성과 일반화 능력을 시사한다.
• 학습 곡선은 특히 표준 PPO가 성능을 떨어뜨리는 고차원 설정에서 안정적이고 샘플 효율적인 학습을 보여준다.
• 절단 실험 결과, 차원별 클리핑과 GAE-V는 DISC의 뛰어난 성능을 이끌어내는 데 필수적인 구성 요소임을 확인한다.