[논문 리뷰] Constrained episodic reinforcement learning in concave-convex and knapsack settings

Kianté Brantley, Miroslav Dudı́k외 5명|arXiv (Cornell University)|2020. 06. 09.

Reinforcement Learning in Robotics참고 문헌 40인용 수 14

한 줄 요약

이 논문은 제약 조건이 있는 에피소드 강화 학습를 위한 새로운 알고리즘을 제안하며, 두 가지 핵심 설정에서 강력한 이론적 보장을 달성한다: 볼록-볼록(볼록 제약 조건 하에서 볼록 보상 최대화) 및 캐리어(시간에 따른 하드 자원 제약). 이는 보상은 과대평가하고 자원 사용은 과소평가함으로써 불확실성 하에서 낙관주의를 적용하여 효율적인 탐색과 언제든지 적용 가능한 최소 손실 보장을 가능하게 하며, 이는 이전 방법들보다 경험적 벤치마크에서 뛰어난 성능을 보인다.

ABSTRACT

We propose an algorithm for tabular episodic reinforcement learning with constraints. We provide a modular analysis with strong theoretical guarantees for settings with concave rewards and convex constraints, and for settings with hard constraints (knapsacks). Most of the previous work in constrained reinforcement learning is limited to linear constraints, and the remaining work focuses on either the feasibility question or settings with a single episode. Our experiments demonstrate that the proposed algorithm significantly outperforms these approaches in existing constrained episodic environments.

연구 동기 및 목표

• 비선형 목표 함수와 하드 제약 조건이 있는 제약 조건이 있는 에피소드 강화 학습에서 샘플 효율적인 탐색의 부족을 해결하기 위해.
• 이전에 다루지 않은 볼록-볼록 및 캐리어 제약 조건 설정에서 에피소드 설정에서 이론적 최소 손실 보장을 제공하기 위해.
• 실제 적용에 매우 중요한 바탕이 되는, 학습 도중 어떤 시점에서도 제약 위반 값이 유한하게 유지되는(언제든지 적용 가능한 보장) 보장을 확보하기 위해.
• 다중 암시적 밴드잇에서의 낙관주의를 지수적 정책 공간을 가진 에피소드 강화 학습으로 확장하기 위해.
• 에피소드 벤치마크에서 이전의 제약 조건이 있는 강화 학습 방법들보다 뚜렷한 성능 향상을 경험적으로 입증하기 위해.

제안 방법

• 가치 함수 최적화 과정에서 보상은 과대평가하고 자원 소비는 과소평가(즉, 제약 조건 거리의 과대평가)함으로써 불확실성 하에서 낙관주의를 적용한다.
• 선형 보상 및 제약 조건 설정에 대한 보장을 먼저 도출한 후, 이를 볼록-볼록 및 캐리어 사례로 확장하는 모듈러한 분석 프레임워크를 활용한다.
• 추정 오차를 제한하고 언제든지 적용 가능한 최소 손실 보장을 확보하기 위해 언제든지 적용 가능한 호프딩 유형의 농도 불등식을 적용한다.
• 보상의 낙관적 추정치와 제약 조건의 보수적인 추정치를 바탕으로 정책을 해결하는 제약 조건이 있는 플래너를 도입한다.
• 탐색과 제약 조건 이행을 균형 있게 유지하기 위해 보너스 항을 포함한 경험적 리스크 최소화를 사용한다.
• 두 단계 최적화를 수행한다: 첫 번째로 낙관적 보너스를 사용하여 가치 함수를 학습하고, 두 번째로 이러한 추정치를 사용하여 제약 조건이 있는 계획 문제를 해결한다.

실험 결과

연구 질문

• RQ1 볼록 제약 조건 하에서 볼록 보상 함수를 가진 에피소드 강화 학습에서 강력한 최소 손실 보장을 달성할 수 있는가?
• RQ2 캐리어와 같은 하드 제약 조건 설정에서 언제든지 적용 가능한 최소 손실 보장을 제공할 수 있는가? 이 경우 제약 조건 위반이 발생하면 에이전트가 정지해야 한다.
• RQ3 다중 암시적 밴드잇에서의 낙관주의를 지수적 정책 공간을 가진 에피소드 마코프 결정 과정으로 효과적으로 확장할 수 있는가?
• RQ4 제안된 방법이 에피소드 벤치마크에서 샘플 효율성과 제약 조건 이행 측면에서 이전 방법들을 능가할 수 있는가?
• RQ5 알고리즘 설계 선택 사항(예: 보너스 구조, 플래너 반복 횟수)이 경험적 성능에 미치는 영향은 무엇인가?

주요 결과

• 제안된 알고리즘은 볼록-볼록 및 캐리어 설정에서 제약 조건이 있는 에피소드 강화 학습에 대해 처음으로 언제든지 적용 가능한 최소 손실 보장을 달성한다.
• 경험적 결과는 탐색이 집중적인 환경에서 TFW-UCRL2 및 A2C 기반 기준선보다 뚜렷한 성능 향상을 보였다.
• 언제든지 적용 가능한 보장 덕분에 학습 도중 어떤 시점에서도 제약 조건 위반 값이 유한하게 유지된다. 즉, 학습이 중단되어도 안정성이 유지된다.
• 더 날카운 보너스 메커니즘의 사용은 유사한 이론적 프레임워크를 가진 이전 연구들보다 뛰어난 경험적 성능을 이끌어냈다.
• 하이퍼파rameter 튜닝 결과, conplanner 반복 횟수와 람다 학습률이 성능에 큰 영향을 미치며, 그리드월드 및 박스 환경에서 10회의 반복과 0.2의 학습률이 최적의 결과를 낳는다.
• 장기적 수평 탐색이 요구되는 환경에서 보상 최대화와 제약 조건 이행 측면에서 모두 기준선을 능가하는 성능을 보였다.