[논문 리뷰] Lightning Does Not Strike Twice: Robust MDPs with Coupled Uncertainty

Shie Mannor, Ofir Mebel외 1명|arXiv (Cornell University)|2012. 06. 18.

Reinforcement Learning in Robotics참고 문헌 17인용 수 25

한 줄 요약

이 논문은 '번개는 두 번이나 치지 않는다' 원칙을 통해 매개변수 불확실성을 모델링하는 새로운 강건한 MDP 프레임워크를 제안한다—즉, 상태-매개변수 편차의 수를 상한으로 제한함으로써, 기존의 분리된 불확실성 모델보다 더 보수적이지 않은 정책을 도출한다. 이 방법은 확률적 보장을 동반하는 타당한 최적 정책 계산을 가능하게 하여 제어 및 학습 시스템에서 불확실성 하에 의사결정을 내리는 데 더 현실적이고 효율적인 대안을 제공한다.

ABSTRACT

We consider Markov decision processes under parameter uncertainty. Previous studies all restrict to the case that uncertainties among different states are uncoupled, which leads to conservative solutions. In contrast, we introduce an intuitive concept, termed "Lightning Does not Strike Twice," to model coupled uncertain parameters. Specifically, we require that the system can deviate from its nominal parameters only a bounded number of times. We give probabilistic guarantees indicating that this model represents real life situations and devise tractable algorithms for computing optimal control policies using this concept.

연구 동기 및 목표

• 기존의 분리된 매개변수 불확실성 모델로 인해 발생하는 과도한 보수성 문제를 해결하기 위해.
• 극단적인 편차가 흔하지 않은 실제 세계의 제약 조건을 반영할 수 있는 방식으로 매개변수 불확실성을 모델링하기 위해.
• 제한된 편차 수 제약 조건 하에서 최적 정책 계산을 위한 계산 가능하고 타당한 프레임워크를 개발하기 위해.
• 제한된 편차 모델이 실제 시스템 행동을 반영한다는 것을 보장하는 확률적 보장을 제공하기 위해.
• 제어 및 강화 학습에서의 불확실성 하에 의사결정의 강건성을 향상시키기 위해.

제안 방법

• 상태-매개변수 편차의 수가 상수로 제한되는 강건한 MDP 공식화를 제안한다.
• 전체 상태 전이 중에서 노미널 매개변수에서 벗어나는 전이의 수에 대한 제약 조건으로 불확실성을 모델링한다.
• 제한된 편차 한도 내에서 악성 편차 패tern에 대해 최적인 정책을 계산하기 위해 강건 최적화 프레임워크를 사용한다.
• 동적 프로그래밍과 분해 기법을 활용하여 최적 정책의 타당한 계산을 가능하게 한다.
• 편차 한도를 초과할 확률에 대한 확률적 경계를 유도하여 모델이 실제 가능성과 연결됨을 보여준다.
• 유한 수평 및 무한 수평 MDP 모두에 이 프레임워크를 적용하여 확장성과 실용적 적용 가능성을 보장한다.

실험 결과

연구 질문

• RQ1 기존의 강건 MDP에서 발생하는 과도한 보수성을 줄이기 위해 어떻게 MDP 내에서 매개변수 불확실성을 모델링할 수 있는가?
• RQ2 상태 간에 불확실성을 제한된 편차 수로 연결함으로써 어떤 영향을 미치는가?
• RQ3 이 새로운 불확실성 모델 하에서 최적 정책을 효율적으로 계산할 수 있는가?
• RQ4 제한된 편차 모델의 확률적 보장은 기존의 강건 MDP와 비교하여 어떻게 다른가?
• RQ5 '번개는 두 번이나 치지 않는다' 원칙이 제어 및 학습 응용 분야에서 실제 시스템 행동을 반영하는가?

주요 결과

• 제안된 제한된 편차 모델은 기존의 분리된 불확실성 모델을 사용하는 표준 강건 MDP보다 정책의 보수성을 크게 감소시킨다.
• 이 프레임워크는 동적 프로그래밍 및 강건 최적화 기법을 통해 최적 정책의 타당한 계산을 가능하게 한다.
• 편차 한도를 초과할 확률에 대한 확률적 경계를 도출하여, 제한된 편차 모델이 극단적인 매개변수 이동이 흔하지 않은 실제 시나리오와 일치함을 보여준다.
• 최악의 편차 상황에서도 강건성을 유지하면서 기대 보상 측면에서 더 뛰어난 성능을 달성한다.
• 이 방법은 유한 수평 및 무한 수평 MDP 모두에 적용 가능하여 확장성과 실용적 관련성을 입증한다.
• 실험 결과는 제한된 편차 모델이 기존의 강건 MDP보다 더 적극적이고 효과적인 정책을 도출함을 보여준다.