[논문 리뷰] Trust Region Value Optimization using Kalman Filtering

Shirli Di-Castro Shashua, Shie Mannor|arXiv (Cornell University)|2019. 01. 23.

Reinforcement Learning in Robotics참고 문헌 43인용 수 5

한 줄 요약

이 논문은 강화학습에서 가치함수 근사의 신뢰영역 최적화를 위한 새로운 방법인 KOVA(Kalman Optimization for Value Approximation)를 제안한다. 이 방법은 확장 칼만 필터를 활용하여 파라미터 불확실성을 모델링하고 정책 평가 성능을 향상시킨다. 가치 파라미터와 리턴을 베이지안 분포를 가진 랜덤 변수로 간주함으로써 KOVA는 가치 예측과 함께 신뢰도 추정을 제공하며, 상태공간과 행동공간이 큰 연속 제어 과제에서 기존 최적화 방법(예: Adam)보다 뛰어난 성능을 보인다.

ABSTRACT

Policy evaluation is a key process in reinforcement learning. It assesses a given policy using estimation of the corresponding value function. When using a parameterized function to approximate the value, it is common to optimize the set of parameters by minimizing the sum of squared Bellman Temporal Differences errors. However, this approach ignores certain distributional properties of both the errors and value parameters. Taking these distributions into account in the optimization process can provide useful information on the amount of confidence in value estimation. In this work we propose to optimize the value by minimizing a regularized objective function which forms a trust region over its parameters. We present a novel optimization method, the Kalman Optimization for Value Approximation (KOVA), based on the Extended Kalman Filter. KOVA minimizes the regularized objective function by adopting a Bayesian perspective over both the value parameters and noisy observed returns. This distributional property provides information on parameter uncertainty in addition to value estimates. We provide theoretical results of our approach and analyze the performance of our proposed optimizer on domains with large state and action spaces.

연구 동기 및 목표

• 표준 TD 학습의 가치함수 근사에서의 한계를 해결하기 위해 파라미터 불확실성과 관측 불확실성을 통합한다.
• 각 파라미터의 불확실성에 기반해 동적으로 학습률을 조정하는 신뢰영역 최적화 프레임워크를 개발한다.
• 기존 베이지안 방법에서 요구하는 단일 학습 스텝당 다수의 샘플이 필요로 하지 않는, 누적적이고 온라인 업데이트를 가능하게 한다.
• 큰 상태공간과 행동공간을 가진 딥 강화학습 환경에서 칼만 필터링 원리를 활용해 정책 평가 성능을 향상시킨다.

제안 방법

• 예측 오차와 파라미터 불확실성을 결합한 정규화된 목적함수를 설정하여 가치 파라미터에 대한 신뢰영역을 형성한다.
• 확장 칼만 필터(EKF)를 적용하여 가치함수 파라미터와 그들의 불확실성 공분산 행렬에 대해 온라인 및 누적 업데이트를 수행한다.
• 가치 파라미터와 노이즈가 있는 리턴을 함께 정규분포를 가진 랜덤 변수로 모델링함으로써 파라미터에 대한 베이지안 추론을 가능하게 한다.
• 칼만 이득을 사용하여 각 파라미터에 대해 적응적으로 학습률을 조정함으로써 안정적이고 효율적인 업데이트를 보장한다.
• EKF와 신뢰영역 방법 간의 관계를 유도하여, 목적함수가 Kullback-Leibler 발산 기반의 신뢰영역을 근사함을 보여준다.
• 기존의 정책 최적화 알고리즘(PPO, TRPO)에 KOVA를 통합하기 위해 표준 가치함수 최적화기 대신 KOVA를 통합한다.

실험 결과

연구 질문

• RQ1 딥 강화학습에서 정책 평가 과정 동안 가치함수 근사의 파라미터 불확실성을 효과적으로 모델링하고 활용할 수 있는가?
• RQ2 확장 칼만 필터를 사용하여 큰 스케일의 강화학습 환경에서도 계산 효율성을 유지하면서 가치 파라미터에 대한 신뢰영역을 형성할 수 있는가?
• RQ3 EKF 기반 최적화와 기존의 신뢰영역 방법(TRPO, 자연 경사 하강법 등) 간의 관계는 어떠한가?
• RQ4 KOVA는 연속 제어 벤치마크에서 표준 최적화기(예: Adam)와 비교해 샘플 효율성과 성능 측면에서 어떻게 다른가?
• RQ5 칼만 필터 프레임워크는 추가적인 샘플링이나 복잡한 추론 절차 없이도 가치 예측에 대한 신뢰도 추정을 제공할 수 있는가?

주요 결과

• KOVA는 PPO와 TRPO에 통합되었을 때, 표준 최적화기(예: Adam)에 비해 MuJoCo 제어 벤치마크에서 샘플 효율성과 최종 성능을 크게 향상시킨다.
• Hopper, Ant, HalfCheetah와 같은 과제에서 점점 더 높은 점근적 성능을 달성하며, 수렴 속도가 빠르고 분산이 낮은 학습 곡선을 보인다.
• KOVA는 가치 예측에 대해 校정된 불확실성 추정치를 제공하며, 이는 탐색과 정책 개선에 유용하다.
• 배치 샘플링이나 다수의 파라미터 샘플링을 피함으로써 계산 효율성을 유지하여 딥 네ural 네트워크에 적합하다.
• 이론적 분석을 통해 KOVA가 Kullback-Leibler 발산에 의해 정의된 신뢰영역을 근사하는 정규화된 목적함수를 최소화함을 확인했다.
• 실험 결과, 학습률 0.1 또는 1.0(과제에 따라 다름)과 최대 비율 노이즈 공분산을 사용할 경우, 다양한 환경에서 일관된 성능 향상이 나타났다.