[논문 리뷰] Twice regularized MDPs and the equivalence between robustness and regularization

Esther Derman, Matthieu Geist외 1명|arXiv (Cornell University)|2021. 10. 12.

Reinforcement Learning in Robotics참고 문헌 39인용 수 6

한 줄 요약

이 논문은 두 번째로 정규화된 MDPs(R²MDPs)를 소개하며, 전이 및 보상에 대한 불확실성이 있는 강화학습에서 복원력과 정규화를 통합한다. 이는 전이 및 보상에 대한 불확실성이 있는 복원력 있는 MDPs가 값과 정책에 의존하는 정규화 항을 가진 정규화된 MDPs와 동치임을 보여줌으로써 이루어진다. 핵심 기여는 복원력 최적화와 정규화 사이의 이론적 동치성으로, 표준 정규화 알고리즘을 사용하여 복원력 보장이 가능한 효율적인 정책 반복을 가능하게 한다.

ABSTRACT

Robust Markov decision processes (MDPs) aim to handle changing or partially known system dynamics. To solve them, one typically resorts to robust optimization methods. However, this significantly increases computational complexity and limits scalability in both learning and planning. On the other hand, regularized MDPs show more stability in policy learning without impairing time complexity. Yet, they generally do not encompass uncertainty in the model dynamics. In this work, we aim to learn robust MDPs using regularization. We first show that regularized MDPs are a particular instance of robust MDPs with uncertain reward. We thus establish that policy iteration on reward-robust MDPs can have the same time complexity as on regularized MDPs. We further extend this relationship to MDPs with uncertain transitions: this leads to a regularization term with an additional dependence on the value function. We finally generalize regularized MDPs to twice regularized MDPs (R${}^2$ MDPs), i.e., MDPs with $ extit{both}$ value and policy regularization. The corresponding Bellman operators enable developing policy iteration schemes with convergence and robustness guarantees. It also reduces planning and learning in robust MDPs to regularized MDPs.

연구 동기 및 목표

• 복원력 있는 MDPs와 정규화된 MDPs 사이의 격차를 메우기 위해, 복원력이 정규화를 통해 달성될 수 있음을 보이는 것.
• 전이 및 보상 동역학의 불확실성을 모두 포괄하는 정규화 프레임워크를 개발하는 것.
• 복원력 최적화 문제와 볼록 정규화된 최적화 문제 사이의 이론적 동치성을 수립하는 것.
• 수렴성과 복원력을 보장하면서도 계산 효율성을 유지하는 R² Bellman 연산자를 설계하는 것.
• 표준 정규화된 MDP 솔버를 사용하여 복원력 있는 MDPs에서의 계획 및 학습을 가능하게 하는 것.

제안 방법

• 불확실성 집합 위에서의 최대-최소 문제로 복원력 있는 MDPs를 수식화하고, 볼록 정규화된 최적화 문제와의 동치성을 보여주는 것.
• 불확실성 집합에 의존하는 정규화 함수 Ω𝒰를 유도하며, 이는 값과 정책 정규화를 모두 포함한다.
• 정규화 항을 벨만 업데이트에 통합한 두 번째 정규화(R²) 벨만 연산자를 제안하는 것.
• 구형 제약이 있는 불확실성 집합에 대해, 압축 보장을 가진 정규화 함수의 명시적 형태를 유도하는 것.
• (s,a)-직사각형 불확실성 집합으로 프레임워크를 확장하여, 액션에 의존하는 명시적 정규화를 가진 새로운 R² 연산자를 도출하는 것.
• R² 벨만 연산자가 결정적 최적 정책을 가짐을 증명하여, 효율적인 정책 반복을 가능하게 하는 것.

실험 결과

연구 질문

• RQ1 전이 및 보상에 대한 불확실성이 있는 복원력 있는 MDPs는 정규화된 MDPs로 재정의될 수 있는가?
• RQ2 MDP에 복원력을 유도하는 정규화 함수의 정확한 형태는 무엇인가?
• RQ3 제안된 정규화 프레임워크는 표준 정책 반복의 수렴성과 안정성을 유지하는가?
• RQ4 복원력 있는 MDPs의 계산 복잡도는 정규화된 문제로 재구성함으로써 감소시킬 수 있는가?
• RQ5 R² 벨만 연산자는 복원력을 유지하면서도 타당성을 확보하는가?

주요 결과

• 불확실성 하에서의 복원력 있는 가치 함수는 값과 정책에 의존하는 정규화 항을 가진 볼록 정규화된 최적화 문제의 해와 동치이다.
• 구형 제약이 있는 불확실성 집합에 대해, 정규화 함수는 명시적 형태를 가지며 R² 벨만 연산자의 압축을 보장한다.
• (s,a)-직사각형 불확실성 집합에 대한 R² 벨만 연산자는 결정적 최적 정책을 도출하여 효율적인 정책 반복을 가능하게 한다.
• 수치 실험 결과, 복원력 있는 가치 함수와 일반적인 가치 함수 사이의 거리가 불확실성 집합 크기와 함께 증가함을 확인하여 복원력 스케일링의 타당성을 검증한다.
• 보상 복원력 케이스에서는 복원력 MPI와 R² MPI가 일치하지만, 전이 불확실성 하에서는 상이해지며, 이는 R² 정규화가 전이 복원력을 더 정확하게 포착하고 있음을 시사한다.
• 동치성 덕분에 복원력 있는 MDPs를 표준 정규화된 MDP 알고리즘을 통해 해결할 수 있으며, 이는 확장성의 급격한 향상에 기여한다.