[논문 리뷰] Approximate Kalman Filter Q-Learning for Continuous State-Space MDPs

Charles Tripp, Ross D. Shachter|arXiv (Cornell University)|2013. 09. 26.

Reinforcement Learning in Robotics참고 문헌 18인용 수 3

한 줄 요약

이 논문은 연속 상태공간 마르코프 결정 과정(MDPs)에 대해 기저 함수를 사용하여 Q-값 함수를 표현하고 간소화된 칼만 필터 모델을 통해 최적의 가중치를 추정함으로써, 약간의 칼만 필터 기반 Q-학습 알고리즘을 제안한다. 이 방법은 평균 벨만 잔차를 최소화하는 효율적인 온라인 가중치 업데이트를 통해 기존의 최첨단 투영된 TD-학습 접근법보다 뛰어난 성능을 달성한다.

ABSTRACT

We seek to learn an effective policy for a Markov Decision Process (MDP) with continuous states via Q-Learning. Given a set of basis functions over state action pairs we search for a corresponding set of linear weights that minimizes the mean Bellman residual. Our algorithm uses a Kalman filter model to estimate those weights and we have developed a simpler approximate Kalman filter model that outperforms the current state of the art projected TD-Learning methods on several standard benchmark problems.

연구 동기 및 목표

• 기존의 표본 기반 Q-학습이 불가능한 연속 상태공간 MDPs에 대해 확장 가능하고 정확한 강화학습 방법을 개발하는 것.
• 연속 상태-행동 공간에서의 함수 근사 문제를 기저 함수를 사용하여 Q-값 함수를 표현함으로써 해결하는 것.
• 칼만 필터링 문제로 Q-값 가중치 추정을 모델링하여 학습 효율성과 수렴 속도를 향상시키는 것.
• 기존의 투영된 시간 차분 학습 방법들과 비교해 계산 비용을 줄이고 성능을 향상시키는 것.
• 함수 근사 프레임워크 내에서 선형 가중치의 온라인 및 재귀적 추정을 통해 평균 벨만 잔차를 최소화하는 것.

제안 방법

• 이 방법은 상태-행동 쌍에 대한 기저 함수의 선형 조합으로 Q-값 함수를 표현한다.
• Q-값 가중치 추정 문제를 칼만 필터 업데이트로 재구성하며, 가중치를 노이즈가 있는 관측값을 갖는 동적 시스템으로 간주한다.
• 계산 복잡성을 줄이면서도 추정 정확도를 유지하기 위해 약간의 칼만 필터를 유도한다.
• 알고리즘은 시간 차분 오차를 사용하여 Q-값 가중치를 온라인으로 업데이트하며, 평균 벨만 잔차를 최소화한다.
• 칼만 필터 모델은 예측 및 보정 단계를 포함하여 새로운 경험 기반으로 가중치 추정치를 재귀적으로 개선한다.
• 칼만 필터의 폐쇄형 업데이트 규칙을 활용하여 반복적 해법이 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 칼만 필터 기반 접근법이 연속 MDPs에서 표준 투영된 TD-학습보다 더 정확하고 효율적인 Q-값 가중치 추정을 제공할 수 있는가?
• RQ2 약간의 칼만 필터 Q-학습의 성능은 표준 벤치마크 문제에서 최첨단 함수 근사 방법들과 비교해 어떻게 되는가?
• RQ3 칼만 필터링을 통해 평균 벨만 잔차를 최소화함으로써 샘플 효율성과 수렴 속도가 얼마나 향상되는가?
• RQ4 간소화된 칼만 필터 모델은 온라인 강화학습에서 계산 오버헤드를 줄이면서도 높은 정확도를 유지할 수 있는가?
• RQ5 칼만 필터 프레임워크는 고차원 연속 상태 공간에서 안정적이고 강건한 학습을 가능하게 하는가?

주요 결과

• 제안된 약간의 칼만 필터 Q-학습 방법은 연속 상태공간 MDPs의 여러 표준 벤치마크 문제에서 현재 최첨단의 투영된 TD-학습 방법을 능가한다.
• 칼만 필터 프레임워크를 활용한 최적의 재귀적 Q-값 가중치 추정 덕분에 더 빠른 수렴과 낮은 오차율을 달성한다.
• 정확한 칼만 필터링에 비해 계산 비용을 줄였지만 높은 성능을 유지하는 약간의 칼만 필터 모델을 제공한다.
• 원칙적인 가중치 업데이트를 통해 평균 벨만 잔차를 최소화함으로써 샘플 효율성이 향상됨을 입증한다.
• 벤치마크 문제에 대한 실험 결과는 학습 성능 향상이 일관되게 관찰되었으며, 이는 연속 MDPs에서 함수 근사에 대해 칼만 필터 접근법의 효과성을 검증한다.
• 반복적 방법에 비해 안정적이고 확장 가능한 대안을 제공하며, 특히 온라인 및 실시간 학습 환경에서 유용하다.