Skip to main content
QUICK REVIEW

[논문 리뷰] Actor-Critic Pretraining for Proximal Policy Optimization

Andreas Kernbach, Amr Elsheikh|arXiv (Cornell University)|2026. 02. 27.
Reinforcement Learning in RoboticsComputer Science인용 수 0
한 줄 요약

논문은 PPO를 위한 배우(actor)와 비평가(critic)를 전문가 시연을 사용해 사전학습한 다음, PPO로 미세조정하여 로봇 작업의 샘플 효율성을 향상시킨다.

ABSTRACT

Reinforcement learning (RL) actor-critic algorithms enable autonomous learning but often require a large number of environment interactions, which limits their applicability in robotics. Leveraging expert data can reduce the number of required environment interactions. A common approach is actor pretraining, where the actor network is initialized via behavioral cloning on expert demonstrations and subsequently fine-tuned with RL. In contrast, the initialization of the critic network has received little attention, despite its central role in policy optimization. This paper proposes a pretraining approach for actor-critic algorithms like Proximal Policy Optimization (PPO) that uses expert demonstrations to initialize both networks. The actor is pretrained via behavioral cloning, while the critic is pretrained using returns obtained from rollouts of the pretrained policy. The approach is evaluated on 15 simulated robotic manipulation and locomotion tasks. Experimental results show that actor-critic pretraining improves sample efficiency by 86.1% on average compared to no pretraining and by 30.9% to actor-only pretraining.

연구 동기 및 목표

  • 강화학습에서 샘플 효율성을 개선하는 동기를 제시하고, 특히 로봇 공학에서 전문가 데이터를 활용.
  • 행위자와 비평가 네트워크를 둘 다 초기화하는 사전학습 체계를 제안한다.
  • 사전학습으로부터의 반환을 사용하는 비평가 사전학습이 행위자 사전학습을 보완하는 방법을 보여준다.

제안 방법

  • 전문가 시연에 대한 행동 복제(behavioral cloning)로 행위자를 사전학습한다.
  • 사전학습된 정책의 롤아웃에서 얻은 수익으로 비평가를 사전학습한다.
  • Proximal Policy Optimization(PPO)과 함께 공동 사전학습된 actor–critic을 미세조정한다.
  • 이 접근법을 이론적으로 정렬된 pretraining 프레임워크에서 PPO에 적용한다.
  • 다수의 벤치마크 작업에서 샘플 효율성과 수렴을 평가한다.
Figure 1 : Visualization of the pretraining and fine-tuning approach using expert data with an actor-critic model. First an expert policy is used to pretrain actor and critic, which are subsequently fine-tuned using PPO.
Figure 1 : Visualization of the pretraining and fine-tuning approach using expert data with an actor-critic model. First an expert policy is used to pretrain actor and critic, which are subsequently fine-tuned using PPO.

실험 결과

연구 질문

  • RQ1전문가 데이터를 사용한 배우와 비평기의 공동 사전학습이 PPO의 샘플 효율성을 사전학습 없음과 비교해 향상시킬 수 있는가?
  • RQ2비평가 사전학습이 배우 사전학습만으로도 얻을 수 있는 이점을 넘겨 PPO에서 추가 이점을 제공하는가?
  • RQ3행위자–비평가 사전학습이 다양한 로봇 조작 및 이동 작업에서 수렴에 어떤 영향을 미치는가?

주요 결과

  • 배우–비평가 사전학습은 사전학습 없음에 비해 샘플 효율성을 평균 86.1% 향상시킨다.
  • 배우–비평가 사전학습은 배우만 사전학습 대비 샘플 효율성을 30.9% 향상시킨다.
  • 이 접근법은 15개의 시뮬레이션 로봇 조작 및 이동 작업에서 평가되었으며, 수렴이 향상된 것으로 나타났다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.