[논문 리뷰] Constrained Reinforcement Learning Has Zero Duality Gap

Santiago Paternain, Luiz F. O. Chamon외 2명|arXiv (Cornell University)|2019. 10. 29.

Reinforcement Learning in Robotics참고 문헌 29인용 수 10

한 줄 요약

이 논문은 정책이 일반적인 분포 클래스로 기술될 때 제약 강화학습(CRL) 문제의 이중성 갭(duality gap)이 0임을 입증한다. 이는 이중 문제의 볼록성과 정확한 최적해 도출을 의미한다. 저자들은 또한 이 결과가 신경망과 같은 매개변수화된 정책에 대해서도 근사적으로 성립함을 보이며, 온건한 가정 하에 원본-이중 알고리즘이 최적해로 수렴함을 증명한다.

ABSTRACT

Autonomous agents must often deal with conflicting requirements, such as completing tasks using the least amount of time/energy, learning multiple tasks, or dealing with multiple opponents. In the context of reinforcement learning~(RL), these problems are addressed by (i)~designing a reward function that simultaneously describes all requirements or (ii)~combining modular value functions that encode them individually. Though effective, these methods have critical downsides. Designing good reward functions that balance different objectives is challenging, especially as the number of objectives grows. Moreover, implicit interference between goals may lead to performance plateaus as they compete for resources, particularly when training on-policy. Similarly, selecting parameters to combine value functions is at least as hard as designing an all-encompassing reward, given that the effect of their values on the overall policy is not straightforward. The later is generally addressed by formulating the conflicting requirements as a constrained RL problem and solved using Primal-Dual methods. These algorithms are in general not guaranteed to converge to the optimal solution since the problem is not convex. This work provides theoretical support to these approaches by establishing that despite its non-convexity, this problem has zero duality gap, i.e., it can be solved exactly in the dual domain, where it becomes convex. Finally, we show this result basically holds if the policy is described by a good parametrization~(e.g., neural networks) and we connect this result with primal-dual algorithms present in the literature and we establish the convergence to the optimal solution.

연구 동기 및 목표

• 수동 보상 설계나 하이퍼파라미터 튜닝 없이 갈등하는 목표를 균형 잡는 데 도전.
• 다중목표 강화학습의 한계를 극복하며, 보상 함수 설계가 어려우며 학습 도중 목표가 간섭하는 문제를 해결.
• 광범위하게 사용되지만 수렴 보장을 갖지 못하는 제약 강화학습의 원본-이중 알고리즘에 대한 이론적 근거 제공.
• 일반 정책 분포에 대해 이중성 갭이 0임을 입증하여 볼록 이중 최적화를 통한 정확한 해 도출 가능하게 함.
• 신경망과 같은 매개변수화된 정책으로 이중성 갭 0 결과를 확장하여, 보편 근사성에 의해 수렴성이 유지됨을 보임.

제안 방법

• 다중 보상 함수와 경직된 제약 조건을 갖는 제약 강화학습을 제약된 마르코프 결정과정(CMDP)으로 공식화.
• 라그랑주 이중성 기법을 적용하여 비볼록 원본 문제를 이중 변수(라그랑주 승수)에 대해 볼록인 이중 문제로 변환.
• 일반 분포 클래스에 속하는 정책에 대해 이중성 갭이 0임을 증명하여 원본 문제와 이중 문제의 해가 정확히 동일함을 의미.
• 정책 클래스의 근사 오차에 따라 매개변수화된 정책으로 이중성 갭 0 결과를 확장.
• 이 결과를 바탕으로 원본-이중 알고리즘을 분석하여, 온건한 가정 하에 최적해로 수렴함을 증명.
• 격자도로 내비게이션 실험을 통해 정확한 및 근사적인 원본 최적화 상황에서의 이중성 갭 행동을 경험적으로 검증.

실험 결과

연구 질문

• RQ1 정책이 일반적인 분포 클래스로 기술될 때 제약 강화학습의 이중성 갭이 0인가?
• RQ2 이중성 갭 0 결과를 신경망과 같은 매개변수화된 정책으로 확장할 수 있으며, 근사 오차는 갭에 어떤 영향을 미치는가?
• RQ3 기존의 제약 강화학습을 위한 원본-이중 알고리즘은 최적해로 수렴하는가? 어떤 조건에서인가?
• RQ4 정책 매개변수화 방식(예: 상태 집합화)의 선택이 이중성 갭과 학습 성능에 어떤 영향을 미치는가?
• RQ5 제약 강화학습과 정규화된 강화학습(수동 승수 선택) 간에 파레토 최적 곡선에서 동등성이 존재하는가?

주요 결과

• 일반 분포 클래스에 속하는 정책에 대해 제약 강화학습 문제의 이중성 갭이 0이며, 이는 이중 문제의 해가 정확한 최적해임을 의미한다.
• 신경망과 같은 매개변수화된 정책의 경우, 이중성 갭은 정책 클래스의 근사 오차에 의해 제한되며, 정책 클래스가 보편 근사자일수록 이 bound는 0으로 수렴한다.
• 온건한 가정 하에 제약 강화학습의 원본-이중 알고리즘이 최적해로 수렴한다. 이는 이중 영역에서의 이중성 갭 0 때문이므로.
• 경험적 결과로 정확한 원본 최대화(예: 다이크스트라 알고리즘)는 이중성 갭을 점차 줄이며, 근사적인 원본 단계(예: 정책 그래디언트)는 이중성 갭이 0에 수렴하는 이웃 영역에 머무름을 보여준다.
• 더 거친 정책 매개변수화(예: 상태 집합화)는 더 큰 이중성 갭을 초래하며, 극단적인 경우(매우 거친 경우)에는 에이전트가 타당한 정책을 학습하지 못함.
• 이론적 프레임워크는 제약 강화학습과 정규화된 강화학습 간에 파레토 최적 곡선에서 동등함을 입증하여, 이중 방법이 수동 보상 가중치 선택의 원칙적인 대안임을 검증한다.