[논문 리뷰] Accelerating Safe Reinforcement Learning with Constraint-mismatched Policies

Tsung-Yen Yang, Justinian Rosca외 2명|arXiv (Cornell University)|2020. 06. 20.

Reinforcement Learning in Robotics참고 문헌 49인용 수 4

한 줄 요약

이 논문은 작업 보상 최적화, 기본 정책에 대한 유사성 유지, 제약 조건을 만족하는 정책 집합으로의 투영을 반복적으로 수행함으로써, 비최적 또는 제약 위반 정책에서 안전한 강화학습을 가속화하는 SPACE라는 알고리즘을 제안한다. 이 방법은 다섯 가지 제어 과제에서 최신 기준 대비 평균 수익이 40% 높고 제약 위반 수가 10배 적게 발생시켰다. 이는 안전성 및 공정성 제약 조건을 포함한다.

ABSTRACT

We consider the problem of reinforcement learning when provided with (1) a baseline control policy and (2) a set of constraints that the learner must satisfy. The baseline policy can arise from demonstration data or a teacher agent and may provide useful cues for learning, but it might also be sub-optimal for the task at hand, and is not guaranteed to satisfy the specified constraints, which might encode safety, fairness or other application-specific requirements. In order to safely learn from baseline policies, we propose an iterative policy optimization algorithm that alternates between maximizing expected return on the task, minimizing distance to the baseline policy, and projecting the policy onto the constraint-satisfying set. We analyze our algorithm theoretically and provide a finite-time convergence guarantee. In our experiments on five different control tasks, our algorithm consistently outperforms several state-of-the-art baselines, achieving 10 times fewer constraint violations and 40% higher reward on average.

연구 동기 및 목표

• 안전성, 공정성 또는 응용 분야 특화 제약 조건을 위반할 수 있는 기본 정책에서 안전하게 학습하는 데 도전하는 것.
• 전문가 또는 시연 정책을 활용함으로써 샘플 효율성과 제약 조건 이행성을 향상시키되, 이 정책들이 제약 조건을 충족할 필요가 없도록 하는 것.
• 모든 학습 반복 과정에서 제약 조건 이행을 보장하면서도 효과적인 탐색과 적응을 가능하게 하는 방법을 개발하는 것.
• 실용적인 가정 하에 제안된 알고리즘의 유한 시간 수렴 보장을 제공하는 것.
• 로봇 제어 및 교통 관리와 같은 다양한 과제에서 실생활 적용 가능성을 고려하여 방법을 경험적으로 검증하는 것.

제안 방법

• 알고리즘은 세 가지 반복적 단계를 수행한다: (1) 기대 수익을 최대화하기 위한 신뢰 영역 정책 최적화, (2) 기본 정책으로부터의 거리를 제어하기 위한 정책 공간 내 투영, (3) 제약 조건을 만족하는 정책 집합으로의 투영을 통해 안전성 확보.
• 기본 정책으로부터의 거리는 동적 임계값 $ h_D^k $ 를 통해 적응적으로 제어되어, 잠재적으로 비최적일 수 있는 기본 정책에 과도하게 의존하지 않으면서도 탄력적인 탐색이 가능하다.
• 신뢰 영역 접근 방식(예: TRPO)을 통해 안정적인 정책 업데이트를 보장하고 최적화 과정에서 치명적인 정책 이탈을 방지한다.
• 제약 조건 투영 단계는 매 반복마다 실행되어 모든 생성된 정책이 주어진 안전성 또는 공정성 제약 조건을 만족함을 보장한다.
• 기본 정책에 대한 비용 함수 학습에 의존하지 않아 계산 오버헤드를 줄이고 시연 데이터를 직접 활용할 수 있다.
• 알고리즘이 이론적으로 분석되었으며, 표준 가정 하에 유한 시간 수렴을 보이며, 신뢰 영역, 거리 제어, 제약 조건 투영의 상호작용을 통해 수렴 보장을 도출하였다.

실험 결과

연구 질문

• RQ1 제약 조건을 위반할 수 있는 기본 정책에서 학습을 안전하게 수행하면서도 작업 성능을 향상시킬 수 있는가?
• RQ2 기본 정책으로부터의 거리를 동적으로 조정함으로써 제약 조건 이행성과 학습 효율성에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 기존의 안전 강화학습 알고리즘 대비 샘플 효율성과 제약 위반 비율 측면에서 뛰어나게 성능을 발휘하는가?
• RQ4 로봇 제어에서의 안전성과 교통 관리에서의 공정성과 같은 다양한 종류의 제약 조건을 가진 다양한 과제에 일반화 가능한가?
• RQ5 초기 거리 임계값 $ h_D^0 $ 이 최종 정책 성능과 제약 조건 준수에 어떤 영향을 미치는가?

주요 결과

• SPACE는 MuJoCo 환경과 실제 교통 관리 시뮬레이션을 포함한 다섯 가지 제어 과제에서 최신 기준 대비 평균 수익이 40% 높게 기록했다.
• 기존 방법 대비 평균적으로 제약 위반 수가 10배 감소하여 강력한 안전성 보장을 입증했다.
• 인간 시연 데이터를 사용한 자동차 레이싱 과제에서, 기본 인간 정책이 비용 제약을 위반함에도 불구하고 SPACE는 안전한 정책을 성공적으로 학습했다.
• 초기 값 $ h_D^0 $ 이 성능에 미치는 영향이 미미하여 하이퍼파rameter 선택에 대해 뛰어난 내성성을 보였다.
• 경험적 결과는 표준편차를 함께 보고한 다섯 번의 실행에서 일관된 성능 향상을 보였으며, 이는 신뢰성과 재현 가능성을 확인한다.
• 이 방법은 유한 시간 수렴을 보였으며, 실용적 구현에 대한 이론적 보장을 제공한다.