[논문 리뷰] Lipschitz Continuity in Model-based Reinforcement Learning

Kavosh Asadi, Dipendra Misra외 1명|arXiv (Cornell University)|2018. 04. 19.

Reinforcement Learning in Robotics참고 문헌 37인용 수 37

한 줄 요약

이 논문은 전이 동역학이 결정론적이고 리프시츠 연속 함수의 혼합으로 표현되는 모델기반 강화학습을 위한 리프시츠 모델 클래스를 제안한다. 신경망의 정규화를 통해 리프시츠 연속성을 강제함으로써, 저자들은 워샤르슈타인 거리 기반으로 다단계 예측 오차와 가치함수 오차에 대한 경계를 도출한다. 이는 확률적 동역성을 가진 연속 상태 환경에서 일반화 및 계획 성능 향상에 기여한다.

ABSTRACT

We examine the impact of learning Lipschitz continuous models in the context of model-based reinforcement learning. We provide a novel bound on multi-step prediction error of Lipschitz models where we quantify the error using the Wasserstein metric. We go on to prove an error bound for the value-function estimate arising from Lipschitz models and show that the estimated value function is itself Lipschitz. We conclude with empirical results that show the benefits of controlling the Lipschitz constant of neural-network models.

연구 동기 및 목표

• 학습된 모델의 리프시츠 연속성이 모델기반 RL에서의 다단계 예측 및 가치함수 추정에 미치는 영향을 이해하는 것.
• 연속 상태 MDP에서의 함수 근사 불안정성을 해결하기 위해 모델의 매끄러움을 제어하는 것.
• 확률적 전이를 표현하기 위해 결정론적 리프시츠 연속 함수의 혼합을 사용하는 새로운 모델 클래스—리프시츠 모델 클래스—를 개발하는 것.
• 리프시츠 연속성 하에서 예측 및 가치함수 추정 오차에 대한 이론적 경계를 제공하는 것.
• 리프시츠 상수를 제어함으로써 계획 성능 및 일반화 성능 향상이 모델기반 RL에서 실제로 이루어지는지 경험적으로 검증하는 것.

제안 방법

• 확률적 동역학을 결정론적 리프시츠 연속 함수의 혼합으로 표현하는 리프시츠 모델 클래스를 제안한다.
• 예측된 다음 상태 분포와 진짜 다음 상태 분포 간의 분포적 차이를 측정하기 위해 워샤르슈타인 거리를 사용한다.
• 경로 데이터로부터 리프시츠 함수 집합과 혼합 가중치를 동시에 학습하기 위해 기대최대화(EM) 알고리즘을 적용한다.
• 가중치 정규화 또는 스펙트럼 노름 정규화를 통해 신경망 구성 요소에 리프시츠 연속성을 강제한다.
• 워샤르슈타인 거리와 리프시츠 상수를 사용하여 다단계 예측 오차 및 가치함수 추정 오차에 대한 이론적 경계를 유도한다.
• 칸토로비치-루빈슈타인 이중성을 활용하여 워샤르슈타인 거리와 리프시츠 제약이 가해진 함수형에 대한 분석 및 최적화를 연결한다.

실험 결과

연구 질문

• RQ1 모델의 리프시츠 연속성이 모델기반 RL에서의 다단계 예측 오차에 어떤 영향을 미치는가?
• RQ2 모델 구성 요소의 리프시츠 연속성이 가치함수 추정 오차에 대한 더 날카운 경계를 이끌어낼 수 있는가?
• RQ3 리프시츠 상수를 제어함으로써 확률적 연속 상태 환경에서의 계획 성능에 어떤 영향을 미치는가?
• RQ4 리프시츠 연속 함수의 혼합이 어떻게 확률적 전이 동역성을 효과적으로 표현할 수 있는가?
• RQ5 표준 함수 근사와 비교했을 때 리프시츠 연속성 강제가 모델기반 RL에서 일반화 및 강건성 향상에 기여하는가?

주요 결과

• 리프시츠 모델의 다단계 예측 오차는 일단 오차와 리프시츠 상수의 함수로 경계가 정해지며, 오차 측정 지표로 워샤르슈타인 거리가 사용된다.
• 리프시츠 모델에서 추정된 가치함수는 자체적으로 리프시츠 연속적이며, 안정적이고 매끄러운 가치 추정을 보장한다.
• 경험 결과, 지도학습에서 리프시츠 상수와 검증 손실 간에 U자형 관계가 존재함을 보여주며, 일반화에 최적의 값이 있음을 시사한다.
• 격자도메인에서는 리프시츠 모델 클래스가 표본 Q-학습과 기대값 모델보다 뛰어난 성능을 보이며, 이는 확률성 모델링 부족으로 인한 실패를 피하기 때문이다.
• EM 알고리즘은 지도학습 및 강화학습 설정 모두에서 데이터로부터 리프시츠 모델 클래스를 성공적으로 학습하며 수렴함을 관찰하였다.
• 리프시츠 상수를 제어함으로써 계획에서 정책 품질이 향상되며, 격자도메인에서의 높은 수익을 통해 이를 입증하였다.