[논문 리뷰] A Method for Speeding Up Value Iteration in Partially Observable Markov Decision Processes

Nevin L. Zhang, Stephen S. Lee외 1명|arXiv (Cornell University)|2013. 01. 23.

Reinforcement Learning in Robotics참고 문헌 10인용 수 11

한 줄 요약

이 논문은 기존의 알고리즘을 수정하지 않고도 수렴 속도를 높일 수 있도록, MDP에서 사용되는 수정된 정책 반복 기법을 POMDP에 적응시킨 기법을 제안한다. 증분 프루닝에 적용했을 때 몇 개의 지수 정도 빠른 성능 향상을 이룩하며, POMDP 계획의 계산 효율성을 크게 향상시킨다.

ABSTRACT

We present a technique for speeding up the convergence of value iteration for partially observable Markov decisions processes (POMDPs). The underlying idea is similar to that behind modified policy iteration for fully observable Markov decision processes (MDPs). The technique can be easily incorporated into any existing POMDP value iteration algorithms. Experiments have been conducted on several test problems with one POMDP value iteration algorithm called incremental pruning. We find that the technique can make incremental pruning run several orders of magnitude faster.

연구 동기 및 목표

• 값 반복이 POMDP에서 느리게 수렴하는 문제를 해결하여 실용적 적용을 가능하게 하기 위해.
• 기존의 POMDP 값 반복 알고리즘과 호환되는 일반적인 목적의 가속 기법을 개발하기 위해.
• 해결 품질을 훼손하지 않으면서 POMDP 계획의 계산 효율성을 향상시키기 위해.
• 증분 프루닝과 같은 널리 사용되는 POMDP 알고리즘에서 더 빠른 수렴을 가능하게 하기 위해.

제안 방법

• MDP에서의 수정된 정책 반복 아이디어를 POMDP에 적용하여, 제한된 수의 값 반복 단계를 수행한 후 정책 개선을 수행한다.
• 값 갱신 단계와 정책 평가 단계를 번갈아 가며 수행하는 하이브리드 접근 방식을 도입하여 전체 값 반복 루프의 횟수를 줄인다.
• 기존의 POMDP 솔버(예: 증분 프루닝)에 최소한의 수정으로 쉽게 통합할 수 있도록 설계된 플러그 앤 플레이 기법이다.
• 반복 과정 중에 값 함수 근사치를 효율적으로 유지하기 위해 POMDP의 구조를 활용한다.
• 각 정책 개선 단계당 고정된 수의 값 반복 스윕을 사용하여 정확성과 속도 사이의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 수정된 정책 반복 원리가 POMDP에서 값 반복의 속도를 높이는데 효과적으로 적용될 수 있는가?
• RQ2 이 하이브리드 접근 방식을 사용할 경우 표준 방법 대비 POMDP 값 반복은 얼마나 더 빨라질 수 있는가?
• RQ3 수렴 속도를 높일 때 이 기법이 정책의 품질을 얼마나 잘 유지하는가?
• RQ4 이 기법은 증분 프루닝과 같은 기존의 POMDP 알고리즘에 원활하게 통합될 수 있는가?

주요 결과

• 제안된 기법은 특히 증분 프루닝에 적용했을 때 POMDP의 값 반복 속도를 크게 향상시킨다.
• 실험 결과, 이 기법을 통해 증분 프루닝의 실행 속도가 몇 개의 지수 정도 빨라지는 것으로 나타났다.
• 결과 정책의 품질을 손상시키지 않으면서도 가속화를 달성했다.
• 이 기법은 일반적이며, 기존의 어떤 POMDP 값 반복 알고리즘에도 쉽게 통합할 수 있다.