[논문 리뷰] Lyapunov Barrier Policy Optimization

Harshit Sikchi, Wenxuan Zhou외 1명|arXiv (Cornell University)|2021. 03. 16.

Reinforcement Learning in Robotics참고 문헌 30인용 수 8

한 줄 요약

이 논문은 라플라스 기반의 장벽 함수를 사용하여 정책 갱신을 안전 영역 내에 제약하는, 새로운 안전 강화학습 방법인 라플라스 장벽 정책 최적화(LBPO)를 제안한다. 이는 훈련 중에도 안전성을 보장하며, 최첨단 기준인 CPO 및 SDDPG와 비교해 제약 위반 수를 크게 줄이며, 장벽 파라미터를 통해 조절 가능한 위험 회피 수준을 제공한다.

ABSTRACT

Deploying Reinforcement Learning (RL) agents in the real-world require that the agents satisfy safety constraints. Current RL agents explore the environment without considering these constraints, which can lead to damage to the hardware or even other agents in the environment. We propose a new method, LBPO, that uses a Lyapunov-based barrier function to restrict the policy update to a safe set for each training iteration. Our method also allows the user to control the conservativeness of the agent with respect to the constraints in the environment. LBPO significantly outperforms state-of-the-art baselines in terms of the number of constraint violations during training while being competitive in terms of performance. Further, our analysis reveals that baselines like CPO and SDDPG rely mostly on backtracking to ensure safety rather than safe projection, which provides insight into why previous methods might not have effectively limit the number of constraint violations.

연구 동기 및 목표

• 딥 강화학습에서 제약 없는 탐색으로 인해 손상이 발생할 수 있는 상황에서 훈련 중 안전 보장을 확보하지 못하는 문제를 해결하기 위해.
• 수렴 시점에만 아니라 훈련 전 과정에서 안전성을 보장하는 방법을 개발하기 위해.
• 조절 가능한 장벽 파라미터를 통해 에이전트의 위험 회피 수준을 제어할 수 있는 메커니즘을 제공하기 위해.
• 이전 방법들이 안전을 주장하면서도 실제로는 많은 제약 위반을 경험하는 이유를 분석하기 위해.
• 백트래킹 복구 규칙에 의존하지 않고도 장벽 함수를 통해 안전한 정책 갱신을 달성할 수 있는지 확인하기 위해.

제안 방법

• LBPO는 라플라스 함수에서 유도된 장벽 함수를 추가한 비제약 최적화 문제로 정책 갱신을 설정한다.
• 라플라스 함수는 궤적 기반 제약을 상태 기반 제약으로 변환하여 효율적이고 안전한 정책 갱신을 가능하게 한다.
• 장벽 함수는 갱신된 정책가 라플라스 함수로 정의된 안전 정책 집합 내에 머무르도록 강제함으로써, 모든 훈련 단계에서 안전성을 보장한다.
• 이 방법은 정책 갱신의 보수성을 조절하는 조절 가능한 파라미터 β를 도입하여 사용자가 위험 회피 수준을 조정할 수 있도록 한다.
• 백트래킹이 필요 없이 장벽 항목을 통합한 수정된 정책 기울기 갱신을 사용하여 정책 갱신을 안전 영역으로 투영한다.
• 함수 근사 오차에 대한 민감도를 평가하기 위해 다양한 Q함수 추정 오차를 가진 연속 제어 벤치마크에서 평가한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 에이전트의 전체 훈련 과정에서 어떻게 안전성을 보장할 수 있는가? (수렴 시점에만이 아니라).
• RQ2 기존의 안전 강화학습 방법들인 CPO와 SDDPG가 안전을 주장하면서도 실제로는 높은 수준의 제약 위반을 경험하는 이유는 무엇인가?
• RQ3 백트래킹 복구 메커니즘에 의존하지 않고도 라플라스 기반 장벽 함수를 사용해 안전한 정책 갱신을 달성할 수 있는가?
• RQ4 조절 가능한 장벽 파라미터를 통해 에이전트의 위험 회피 수준을 어느 정도 제어할 수 있는가?
• RQ5 Q함수 추정 오차가 있는 상황에서 LBPO는 얼마나 견고한가?

주요 결과

• LBPO는 여러 연속 제어 환경에서 제약 위반 수를 거의 0으로 줄이며, CPO 및 SDDPG를 크게 능가한다.
• Q함수 추정 오차에 대해 강건하여 데이터가 제한된 상황에서도 낮은 제약 위반 수를 유지한다. 이는 CPO 및 SDDPG와는 대조적이다.
• 실험 분석 결과, CPO 및 SDDPG는 거의 제약 준수를 달성하기 위해 백트래킹 복구 규칙에 크게 의존하며, 이로 인해 훈련 중 많은 위반을 경험한다.
• 장벽 파라미터 β를 조정하면 사용자가 에이전트의 위험 회피 수준을 제어할 수 있으며, 더 큰 β 값은 더 보수적인 정책을 초래한다.
• LBPO는 표준 강화학습 벤치마크에서 경쟁력 있는 성능을 달성하면서도 강력한 안전 보장을 유지하여 실세계 적용에 적합하다.
• 제거 분석 결과 장벽 함수가 안전성의 주요 원인이며, 복구 메커니즘은 아님을 확인하여 방법의 설계 원칙을 검증한다.