[논문 리뷰] Guarded Policy Optimization with Imperfect Online Demonstrations

Zhenghai Xue, Zhenghao Peng외 3명|arXiv (Cornell University)|2023. 03. 03.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 궤도 기반 가치 추정을 통한 간섭 결정을 사용하여 교사 정책의 성능에 제한되지 않고도 학생 에이전트가 불완전한 교사를 능가할 수 있도록 하는 새로운 오프-폴리시 강화학습 방법 TS2C를 제안한다. 행동 기반 간섭과는 달리, TS2C는 학생의 기대 수익이 유망할 경우에만 이탈을 허용하여, 교사의 품질과 관계없이 뛰어난 샘플 효율성과 안전 보장을 달성한다.

ABSTRACT

The Teacher-Student Framework (TSF) is a reinforcement learning setting where a teacher agent guards the training of a student agent by intervening and providing online demonstrations. Assuming optimal, the teacher policy has the perfect timing and capability to intervene in the learning process of the student agent, providing safety guarantee and exploration guidance. Nevertheless, in many real-world settings it is expensive or even impossible to obtain a well-performing teacher policy. In this work, we relax the assumption of a well-performing teacher and develop a new method that can incorporate arbitrary teacher policies with modest or inferior performance. We instantiate an Off-Policy Reinforcement Learning algorithm, termed Teacher-Student Shared Control (TS2C), which incorporates teacher intervention based on trajectory-based value estimation. Theoretical analysis validates that the proposed TS2C algorithm attains efficient exploration and substantial safety guarantee without being affected by the teacher's own performance. Experiments on various continuous control tasks show that our method can exploit teacher policies at different performance levels while maintaining a low training cost. Moreover, the student policy surpasses the imperfect teacher policy in terms of higher accumulated reward in held-out testing environments. Code is available at https://metadriverse.github.io/TS2C.

연구 동기 및 목표

• 기존의 교사-학생 프레임워크(TSF) 방법이 교사 정책의 성능에 의해 제한되는 한계를 해결한다.
• 안전성과 탐색 효율성을 유지하면서 불완전한 교사 정책을 능가할 수 있는 학생 에이전트를 위한 방법을 개발한다.
• 행동 유사도 기반 간섭을 궤도 기반 가치 추정으로 대체함으로써 고품질 교사 시연의 필요성을 완화한다.
• 이론적 및 실증적으로 학생의 성능가 교사의 능력에 의해 상한선에 묶이지 않음을 검증한다.
• 다양한 환경과 다양한 교사 정책 소스에서의 일반화를 보여주며 일관된 성능 향상을 확보한다.

제안 방법

• 학생의 기대 수익이 교사의 추정 가치보다 낮을 때에만 교사가 간섭하는 가치 기반 간섭 메커니즘을 도입한다.
• 학습자의 행동에 대한 장기 수익을 평가하기 위해 궤도 기반 가치 추정기를 사용하여 정보 기반 간섭 결정을 가능하게 한다.
• 교사의 간섭 데이터와 학생의 경험을 공유 리PLAY 버퍼에 통합하여 오프-폴리시 학습을 수행한다.
• SAC 등 오프-폴리시 RL 알고리즘을 적용하여 학생 정책을 학생이 생성한 전이와 교사 간섭 전이를 모두 활용해 훈련한다.
• 불필요한 간섭을 최소화하는 간섭 함수를 설계하여 훈련 비용을 줄이면서도 안전성을 유지한다.
• 이론적 분석을 통해 TS2C가 교사의 품질과 무관하게 하한선 성능과 안전 보장을 유지함을 보여준다.

Figure 1: Overview of the proposed teacher-student shared control method. Both student and teacher policies are in the training loop and the shared control occurs based on the intervention function.

실험 결과

연구 질문

• RQ1 불완전한 교사 정책에 제약을 받지 않고도 교사-학생 프레임워크에서 학생 정책이 교사 정책을 능가할 수 있는가?
• RQ2 행동 기반 간섭을 가치 기반 간섭으로 대체하면 온라인 강화학습에서 샘플 효율성과 안전성이 향상되는가?
• RQ3 학생 정책의 성능는 교사 정책 품질의 수준에 따라 어떻게 변화하는가?
• RQ4 제안된 방법은 다양한 MuJoCo 환경과 다양한 교사 정책 소스에서 일반화 가능한가?
• RQ5 복잡한 환경에서 간섭 메커니즘이 훈련 비용과 정책 행동에 어떤 영향을 미치는가?

주요 결과

• TS2C는 모든 교사 성능 수준(높음, 중간, 낮음)에서 200,000 훈련 스텝 이내에 수렴하여 교사의 품질에 민감하지 않음을 보여준다.
• 검증 환경에서 TS2C로 훈련된 학생 정책는 교사 및 기준 방법(예: EGPO, Importance Advising)보다 유의미하게 높은 누적 보상을 달달한다.
• TS2C는 학생 정책가 제어를 장악한 후 간섭 빈도가 급격히 감소함에 따라 EGPO 및 Importance Advising보다 훈련 비용을 줄였다.
• MetaDrive 시뮬레이터에서 가치 기반 간섭은 학생이 추월 행동(파란 궤적)을 학습하도록 허용한 반면, 행동 기반 간섭은 열등한 따라다니기 행동(초록 궤적)을 유도했다.
• TS2C는 모든 세 가지 MuJoCo 환경에서 SAC, PPO 및 행동 복제보다 뛰어난 성능을 보였으며, 교사 정책이 중간 정도의 숙련도를 가졌을 때에도 마찬가지였다.
• 제거 실험을 통해 가치 기반 간섭 함수가 성능에 핵심적임을 확인하였으며, 이는 학생이 교사에서 벗어나도 높은 수익을 올릴 수 있는 행동을 탐색할 수 있도록 허용한다.

Figure 2: In an autonomous driving scenario, the ego vehicle is the blue one on the left, following the gray vehicle on the right. The upper trajectory is proposed by the student to overtake and the lower trajectory is proposed by the teacher to keep following.