[논문 리뷰] Deep Robust Kalman Filter

Shirli Di-Castro Shashua, Shie Mannor|arXiv (Cornell University)|2017. 03. 07.

Bayesian Modeling and Causal Inference참고 문헌 28인용 수 18

한 줄 요약

이 논문은 깊이 신경망을 사용하여 대규모 강건 마르코프 결정 과정(RMDPs)을 해결하기 위한 두 가지 알고리즘인 RTD-DQN과 Deep-RoK를 제안한다. RTD-DQN은 전이 확률의 불확실성을 다루기 위해 손실 함수에 강건 벨먼 시간 차분 오차를 통합한다. 반면 Deep-RoK는 확장 칼만 필터(EKF)를 추가하여 가치 함수 가중치와 전이 동역학의 불확실성을 동시에 모델링함으로써, 매개수 불확실성 하에서의 연속 제어 과제인 카트폴에서 강건성을 크게 향상시킨다.

ABSTRACT

A Robust Markov Decision Process (RMDP) is a sequential decision making model that accounts for uncertainty in the parameters of dynamic systems. This uncertainty introduces difficulties in learning an optimal policy, especially for environments with large state spaces. We propose two algorithms, RTD-DQN and Deep-RoK, for solving large-scale RMDPs using nonlinear approximation schemes such as deep neural networks. The RTD-DQN algorithm incorporates the robust Bellman temporal difference error into a robust loss function, yielding robust policies for the agent. The Deep-RoK algorithm is a robust Bayesian method, based on the Extended Kalman Filter (EKF), that accounts for both the uncertainty in the weights of the approximated value function and the uncertainty in the transition probabilities, improving the robustness of the agent. We provide theoretical results for our approach and test the proposed algorithms on a continuous state domain.

연구 동기 및 목표

• 모델 매개수의 불확실성이 존재하는 대규모 마르코프 결정 과정(MDPs)에서 강건한 정책을 학습하는 데 도전하는 것.
• 기존의 RMDP 방법이 선형 근사, 오프라인 추정 또는 전이 확률에 대한 제한적인 가정에 의존하는 점을 극복하는 것.
• 모델 매개수의 불확실성과 가치 함수 가중치의 불확실성을 모두 고려하는 온라인, 비선형 함수 근사 방법을 개발하는 것.
• 자율 주행 및 금융과 같은 실제 도메인에서 모델 불확실성이 치명적인 정책 실패를 초래할 수 있으므로, 이러한 분야에서 에이전트 성능을 향상시키는 것.

제안 방법

• RTD-DQN은 손실 함수에 표준 벨먼 시간 차분(TD) 오차 대신 강건 벨먼 TD 오차(rBTDe)를 도입하여 전이 확률의 불확실성 집합 내에서 최악의 가치 함수 오차를 최소화한다.
• rBTDe는 불확실성 집합 내에서 가능한 모든 전이 분포에 대해 최악의 기대 수익을 최적화하는 강건 벨먼 연산자로부터 유도된다.
• Deep-RoK는 깊이 신경망의 가중치에 대한 베이지안 추론을 수행하기 위해 확장 칼만 필터(EKF)를 사용하며, 가치 함수 근사의 불확실성을 다변수 정규분포로 모델링한다.
• EKF는 전이 확률 집합 𝒫에서 가중치 불확실성 집합 Θ로 불확실성을 전파하여 모델과 함수 근사 불확실성의 공동 추정을 가능하게 한다.
• 알고리즘은 예측 및 보정 단계를 통해 EKF를 사용하여 평균 가중치 추정치 θ̂t|t와 공분산 행렬 Pt|t를 갱신하며, 이때 rBTDe가 혁신 항목으로 사용된다.
• 최종 정책는 모델 불확실성과 가중치 불확실성 모두에 대해 최악의 손실 기대값을 최소화하는 강건 가치 함수에서 유도된다.

실험 결과

연구 질문

• RQ1 전이 확률이 불확실할 경우, 딥 강화 학습 에이전트가 대규모 MDP에서 강건한 성능을 달성할 수 있는가?
• RQ2 강건 시간 차분 학습을 딥 신경망과 통합할 경우, 연속 제어 과제에서 표준 DQN에 비해 정책의 강건성이 향상되는가?
• RQ3 EKF 기반 베이지안 프레임워크를 통해 전이 동역학과 가치 함수 가중치의 불확실성을 동시에 모델링할 경우, 매개수 불일치 상황에서 더 나은 일반화 성능를 달성하는가?
• RQ4 극단적이거나 예측하지 못한 매개수 값에서 테스트했을 때, 강건 에이전트의 성능은 명목상 DQN 에이전트와 어떻게 비교되는가?

주요 결과

• 더블-DQN 에이전트는 명목상 훈련 매개수(봉 길이 0.5 m, 카트 질량 1.5 kg)에서 높은 누적 보상을 달성했지만, 분포 외 매개수 값에서는 성능이 급격히 떨어졌다.
• RTD-DQN 에이전트는 다양한 봉 길이에서 일관된 성능을 보였으며, rBTDe를 통해 전이 불확실성을 명시적으로 모델링함으로써 불확실하거나 극단적인 매개수 값에서 더 우수한 성능를 보였다.
• Deep-RoK 에이전트는 봉 길이(0.2–1.4 m)와 카트 질량(0.1–7 kg)의 광범위한 범위에서 높은 성능를 유지했으며, 테스트 세트에서 가장 높은 성공률를 기록했다.
• Deep-RoK의 베이지안 불확실성 추정은 에이전트가 다양한 매개수 조합에서 강건하게 일반화할 수 있도록 했으며, 성공률 측면에서 더블-DQN과 RTD-DQN을 모두 능가했다.
• Deep-RoK 알고리즘이 강건 EKF 손실 함수를 최소화함을 증명하여, 그 향상된 강건성에 대한 이론적 기반을 확보했다.
• 실험 결과는 모델 매개수와 가치 함수 가중치의 불확실성을 함께 모델링할 경우, 불확실한 환경에서 더 신뢰할 수 있고 안전한 정책가 도출된다는 것을 확인했다.