[논문 리뷰] Balancing Constraints and Rewards with Meta-Gradient D4PG

Dan A. Calian, Daniel J. Mankowitz외 5명|arXiv (Cornell University)|2020. 10. 13.

Reinforcement Learning in Robotics참고 문헌 27인용 수 6

한 줄 요약

이 논문은 연속 제어 강화 학습에서 기대 수익을 극대화하고 제약 위반을 최소화하는 데 있어 상호 보완적 성능을 향상시키는 메타기울기 기반 방법인 MetaL을 제안한다. D4PG 프레임워크 내에서 메타기울기를 활용함으로써 MetaL은 라그랑주 승수를 동적으로 최적화하여, 네 개의 MuJoCo 환경에서 기준선 대비 통계적으로 유의미한 향상으로 수익, 보상된 수익, 제약 이행성에서 뛰어난 성능을 달성한다.

ABSTRACT

Deploying Reinforcement Learning (RL) agents to solve real-world applications often requires satisfying complex system constraints. Often the constraint thresholds are incorrectly set due to the complex nature of a system or the inability to verify the thresholds offline (e.g, no simulator or reasonable offline evaluation procedure exists). This results in solutions where a task cannot be solved without violating the constraints. However, in many real-world cases, constraint violations are undesirable yet they are not catastrophic, motivating the need for soft-constrained RL approaches. We present a soft-constrained RL approach that utilizes meta-gradients to find a good trade-off between expected return and minimizing constraint violations. We demonstrate the effectiveness of this approach by showing that it consistently outperforms the baselines across four different MuJoCo domains.

연구 동기 및 목표

• 부드러운 제약과 잘 정의되지 않거나 이행이 불가능한 임계값을 가진 실제 시스템에 RL 에이전트를 구현하는 데 도전하는 것.
• 강제적인 제약이 아닌, 기대 수익 극대화와 제약 위반 최소화 사이의 최적의 트레이드오프를 찾는 방법을 개발하는 것.
• 기존의 제약이 있는 RL 접근 방식을 향상시키기 위해 메타기울기를 사용해 라그랑주 승수를 자동으로 조정함으로써 하이퍼파라미터 선택에 대한 민감도를 줄이는 것.
• MuJoCo 환경에서의 실험적 평가를 통해 메타기울기 최적화가 부드러운 제약이 있는 RL에 효과적으로 적용될 수 있음을 입증하는 것.

제안 방법

• MetaL은 D4PG 알고리즘을 메타기울기를 활용해 확장하여 수익 목표와 제약 위반 사이의 최적 트레이드오프를 학습한다.
• 이 방법은 내부 최적화 과정(정책 및 가치 함수 업데이트)을 통해 기울기를 역전파함으로써 라그랑주 승수를 업데이트하는 메타기울기를 사용한다.
• 이러한 방법은 제약 위반의 미분 가능한 근사치를 사용해 엔드 투 엔드로 훈련되며, 트레이드오프 하이퍼파라미터의 기울기 기반 최적화를 가능하게 한다.
• 기준선으로는 고정된 보상 형태 조정(RS)과 보상 제약이 있는 D4PG(RC-D4PG) 방법이 사용된다.
• MetaL은 보상 형태 조정을 메타기울기로 향상시킨 두 번째 변형인 MeSh를 도입하여 제약 처리 성능을 더욱 향상시킨다.

실험 결과

연구 질문

• RQ1 메타기울기는 연속 제어 강화 학습에서 수익 극대화와 제약 위반 최소화 사이의 동적 트레이드오프를 효과적으로 학습하는 데 유용한가?
• RQ2 다양한 제약 임계값에서 MetaL은 고정된 하이퍼파라미터 기준선 및 RC-D4PG와 비교해 성능과 내구성 면에서 어떻게 다른가?
• RQ3 기존의 제약이 있는 RL 방법에 비해 MetaL은 초기 학습률 설정에 대한 민감도가 낮은가?
• RQ4 메타기울기 기반 최적화는 실제 RL 응용에서 기대 수익을 희생시키지 않고 제약 준수를 향상시킬 수 있는가?
• RQ5 MetaL의 성능 향상은 여러 개의 MuJoCo 환경에서 통계적으로 유의미한가?

주요 결과

• MetaL은 수익과 보상된 수익 측면에서 네 개의 MuJoCo 도메인 중 세 곳에서 모든 기준선, 특히 최고 성능을 보인 RS-0.1보다 유의미하게 뛰어나다.
• 모든 도메인에서 모든 성능 지표에 대해 p-값이 1e-09 이하로 통계적으로 유의미한 향상이 이루어졌으며, 모든 기준선을 초월한다.
• Walker 환경에서는 MetaL이 수익 851.10 ± 30.55와 보상된 수익 912.97을 기록하여 RC-D4PG와 RS-1.0을 모두 능가한다.
• Quadruped 환경에서는 MetaL이 수익 828.21 ± 19.73과 제약 초과도 0.17을 기록하여 RC-D4PG의 0.13과 D4PG의 0.35보다 유의미하게 뛰어나다.
• 최적의 학습률(α₁ = 0.001)을 사용하는 RC-D4PG와 비교해도, 하위 최적의 학습률(α₁ = 0.005)을 사용하는 MetaL은 더 높은 성능과 제약 준수를 유지한다.
• MetaL은 모든 테스트된 고정된 초기 학습률에서 RC-D4PG를 일관되게 능가하여 하이퍼파라미터 선택에 대한 내구성을 입증한다.