[논문 리뷰] Importance mixing: Improving sample reuse in evolutionary policy search methods

Aloïs Pourchot, Nicolas Perrin외 1명|arXiv (Cornell University)|2018. 08. 17.

Reinforcement Learning in Robotics참고 문헌 23인용 수 11

한 줄 요약

이 논문은 진화적 정책 탐색에서 샘플 재사용을 향상시키기 위해 개선된 중요도 혼합 메커니즘을 제안하며, 표준 중요도 혼합이 샘플 효율성을 크게 향상시키지만, 확장된 버전은 추가로 미미한 성능 향상을 제공함. 심지어 높은 재사용률(~90%)을 기록하더라도 진화적 방법은 여전히 딥 강화학습보다 샘플 효율성이 열등하며, 희박 보상 환경에서는 더 안정적인 성능을 보임.

ABSTRACT

Deep neuroevolution, that is evolutionary policy search methods based on deep neural networks, have recently emerged as a competitor to deep reinforcement learning algorithms due to their better parallelization capabilities. However, these methods still suffer from a far worse sample efficiency. In this paper we investigate whether a mechanism known as "importance mixing" can significantly improve their sample efficiency. We provide a didactic presentation of importance mixing and we explain how it can be extended to reuse more samples. Then, from an empirical comparison based on a simple benchmark, we show that, though it actually provides better sample efficiency, it is still far from the sample efficiency of deep reinforcement learning, though it is more stable.

연구 동기 및 목표

• 중요도 혼합이 딥 뉴로진화 방법에서 샘플 효율성을 크게 향상시킬 수 있는지 조사하는 것.
• 기존 중요도 혼합 메커니즘을 확장하여 바로 이전 세대 외에도 이전 여러 세대의 샘플을 재사용할 수 있도록 하는 것.
• 다양한 진화 전략에서 확장된 중요도 혼합이 샘플 효율성에 미치는 영향을 실증적으로 평가하는 것.
• 샘플 효율성과 안정성 측면에서 중요도 혼합을 통한 진화적 방법과 최신 딥 강화학습(DDPG 등)의 성능을 비교하는 것.
• 지속적인 샘플 효율성 격차를 고려할 때 진화적 방법과 딥 강화학습 방법을 융합하는 것이 가능한지 탐색하는 것.

제안 방법

• 이 논문은 이전 정책 세대의 롤아웃을 현재 정책의 가능도에 따라 가중치를 부여하여 재사용하는 중요도 혼합의 이해를 돕는 지도적 프레임워크를 제안한다.
• 이를 확장하여 바로 이전 세대 외에도 이전 여러 세대의 샘플을 재사용할 수 있도록 하는 방법을 제안하며, 새로운 세대가 완성될 때까지 순차적으로 통합한다.
• 과거 세대의 샘플에 중요도 가중치를 적용하여, 현재 정책과 과거 정책 분포 간의 발산에 따라 기여도를 조정한다.
• 연속 제어 벤치마크(Continuous CartPole 및 희박 보상 버전인 ContinuousCartPoleHard)에서 SNES와 Open-ES 등의 ES 변종을 사용하여 방법을 평가한다.
• 샘플 재사용은 최대 약 90%까지의 비율로 측정되며, 성능은 시간 단위 평균 보상 또는 평가 기반으로 측정된다.
• 정당한 비교를 위해 동일한 네트워크 아키텍처와 하이퍼파라미터를 사용하여 DDPG, 최신 딥 강화학습 알고리즘과 비교한다.

실험 결과

연구 질문

• RQ1 중요도 혼합이 진화적 정책 탐색 방법에서 샘플 효율성을 크게 향상시킬 수 있는가?
• RQ2 직전 세대 외에도 이전 여러 세대의 샘플을 재사용할 수 있도록 중요도 혼합을 확장하면, 바로 이전 세대만 재사용하는 것보다 상당한 성능 향상이 이루어지는가?
• RQ3 중요도 혼합을 통한 진화적 전략의 샘플 효율성은 DDPG와 같은 딥 강화학습 알고리즘과 비교해 어떻게 되는가?
• RQ4 중요도 혼합으로 향상된 샘플 효율성은 수렴 속도 측면에서 딥 강화학습의 격차를 메우기에 충분한가?
• RQ5 특히 희박 보상 환경에서는 어떤 환경에서 진화적 방법이 딥 강화학습을 능가하거나 경쟁 가능한 성능을 보이는가?

주요 결과

• 표준 중요도 혼합은 진화적 정책 탐색에서 샘플 효율성을 크게 향상시키며, 수렴에 필요한 평가 횟수를 줄인다.
• 여러 이전 세대의 샘플을 재사용할 수 있도록 확장된 중요도 혼합 메커니즘은 표준 중요도 혼합 대비 추가로 미미한 성능 향상을 제공한다.
• 약 90%의 샘플 재사용률을 기록하더라도, 진화적 방법(snes + EIM)은 연속 보상 환경인 Continuous CartPole에서 DDPG보다 약 10배 느리게 수렴한다.
• 희박 보상 환경인 ContinuousCartPoleHard에서는 DDPG가 100만 번째 시간 단위 이후에 진전이 없지만, 진화적 방법은 계속해서 성능을 향상시키며, 이는 이러한 환경에서 진화적 접근의 안정성과 강건성을 보여준다.
• 심지어 고도로 발전된 샘플 재사용 기법을 적용하더라도 진화적 방법과 딥 강화학습 간의 샘플 효율성 격차는 여전히 크며, 이는 샘플 효율성이 유일한 제약 요소는 아님을 시사한다.
• 결과적으로未래 연구는 중요도 혼합만으로는 효율성 격차를 메울 수 없으므로, 진화적 방법과 딥 강화학습 방법을 융합한 하이브리드 프레임워크 개발에 초점을 맞추는 것이 바람직하다.