[논문 리뷰] Kalman meets Bellman: Improving Policy Evaluation through Value Tracking

Shirli Di-Castro Shashua, Shie Mannor|arXiv (Cornell University)|2020. 02. 17.

Reinforcement Learning in Robotics참고 문헌 63인용 수 9

한 줄 요약

이 논문은 깊이 강화 학습에서 정책 평가를 향상시키기 위해 매개변수와 관측 불확실성을 동시에 모델링하는 확장 칼만 필터 기반 프레임워크인 KOVA(Kalman Optimization for Value Approximation)를 제안한다. 둘 다를 고려한 정규화된 목적 함수를 최소화함으로써 KOVA는 더 견고한 가치 함수 근사와 향상된 탐색을 가능하게 하여, 연속 제어 과제에서 기존의 Adam 및 GPTD와 같은 표준 방법들을 능가한다. 이는 온-폴리시 및 오프-폴리시 학습을 모두 지원한다.

ABSTRACT

Policy evaluation is a key process in Reinforcement Learning (RL). It assesses a given policy by estimating the corresponding value function. When using parameterized value functions, common approaches minimize the sum of squared Bellman temporal-difference errors and receive a point-estimate for the parameters. Kalman-based and Gaussian-processes based frameworks were suggested to evaluate the policy by treating the value as a random variable. These frameworks can learn uncertainties over the value parameters and exploit them for policy exploration. When adopting these frameworks to solve deep RL tasks, several limitations are revealed: excessive computations in each optimization step, difficulty with handling batches of samples which slows training and the effect of memory in stochastic environments which prevents off-policy learning. In this work, we discuss these limitations and propose to overcome them by an alternative general framework, based on the extended Kalman filter. We devise an optimization method, called Kalman Optimization for Value Approximation (KOVA) that can be incorporated as a policy evaluation component in policy optimization algorithms. KOVA minimizes a regularized objective function that concerns both parameter and noisy return uncertainties. We analyze the properties of KOVA and present its performance on deep RL control tasks.

연구 동기 및 목표

• 깊이 강화 학습에서 기존의 칼만 기반 및 가우시안 프로세스 방법의 한계, 즉 낮은 확장성, 배치 처리 효율성 부족, 확률적 환경에서의 기억 효과 민감성 문제를 해결하기 위해.
• 딥 네ural 네트워크를 사용하는 온-폴리시 및 오프-폴리시 학습을 모두 지원하는 확장 가능하고 일반적인 가치 함수 근사 프레임워크를 개발하기 위해.
• 가치 함수 최적화에 불확실성 추정을 통합하여 정책 탐색과 학습 안정성을 향상시키기 위해.
• 미니배치 샘플링을 효율적으로 활용하고, 스위트닝 칼만 필터 기반 방법 대비 계산 오버헤드를 줄이기 위해.

제안 방법

• KOVA는 가치 함수 매개변수를 시간에 따라 변하는 평균과 공분산를 가진 랜덤 변수로 모델링하기 위해 확장 칼만 필터(EKF)를 사용하여 온라인 불확실성 추적을 가능하게 한다.
• 매개변수 오차와 노이즈가 있는 수익 불확실성을 동시에 최소화하는 정규화된 목적 함수를 설정하여 예측 오차와 관측 오차를 체계적으로 통합한다.
• 관측 함수 h(u;θt)가 가치 네트워크 출력을 나타내고, 타겟 레이블 y(u)가 벨먼 업데이트 타겟과 대응하는 상태공간 모델을 사용한다.
• 프로세스 노이즈 공분산은 하이퍼파rameter η를 통해 동적으로 조정되며, 이는 추적과 수렴 사이의 트레이드오���을 제어한다.
• 가치 함수 최적화 단계와 정책 업데이트 단계를 분리하여 온-폴리시 및 오프-폴리시 학습을 모두 지원한다.
• KOVA는 PPO, TRPO, SAC, ACKTR와 같은 표준 정책 최적화 알고리즘과 호환되며, 플러그인 형태의 가치 함수 최적화기로 기능한다.

실험 결과

연구 질문

• RQ1 EKF 기반 프레임워크가 깊이 강화 학습에서 매개변수와 관측 불확실성을 동시에 모델링함으로써 가치 함수 근사 향상에 기여할 수 있는가?
• RQ2 KOVA의 불확실성 인식 최적화는 표준 Adam 및 GPTD 대비 샘플 효율성과 정책 성능 측면에서 어떻게 비교되는가?
• RQ3 KOVA를 통한 불확실성 추적 통합이 정책 탐색 증가와 더 높은 누적 보상으로 이어지는가?
• RQ4 하이퍼파rameter η와 P_nt가 다양한 환경에서 학습 안정성과 성능에 미치는 영향은 어떠한가?
• RQ5 KOVA는 왜 Adam보다 더 높은 계산 비용을 보이며, 이는 향후 연구에서 어떻게 완화될 수 있는가?

주요 결과

• KOVA는 Swimmer, Hopper, HalfCheetah, Ant, Walker2d와 같은 MuJoCo 환경에서 Adam 및 GPTD보다 높은 평균 에피소드 보상으로 정책 성능을 크게 향상시켰다.
• PPO와 TRPO에서는 Adam 대비 학습 시간이 44–60% 증가했고, SAC에서는 최대 482% 증가하여 정확성과 속도 사이의 트레이드오프를 보였다.
• 높은 계산 비용에도 불구하고 KOVA는 정책 엔트로피를 지속적으로 증가시켰으며, 이는 샘플 효율성 향상과 더 높은 누적 보상과 상관관계가 있었다.
• 관측 노이즈 공분산 P_nt에 대한 최대 비율 설정과 배치 크기 설정 모두 성능 향상에 기여했으며, 최대 비율 설정이 특히 강건한 성능을 보였다.
• KOVA는 미니배치 처리를 지원하고 오프-폴리시 학습을 가능하게 하며 고차원 DNN에 확장 가능한 점에서 GPTD 및 KTD보다 깊이 강화 학습 환경에서 뛰어난 성능을 보였다.
• 프로세스 노이즈를 제어하는 하이퍼파라미터 η는 성능에 큰 영향을 미쳤으며, Swimmer 및 HalfCheetah에서 낮은 값(예: 0.001)이 더 좋은 결과를 얻었다.