[논문 리뷰] Why Should I Trust You, Bellman? The Bellman Error is a Poor Replacement for Value Error

Scott Fujimoto, David Meger외 3명|arXiv (Cornell University)|2022. 01. 28.

Model Reduction and Neural Networks인용 수 7

한 줄 요약

이 논문은 강화학습에서 벨먼 오차가 가치 함수 정확도의 열악한 대체 지표임을 입증한다. 오차 상쇄 효과와 유한한 데이터 영역에서의 문제로 인해 가치 오차가 높을 때조차도 벨먼 오차가 낮을 수 있기 때문이다. 저자들은 벨먼 오차를 최소화하는 것이 가치 정확도를 향상시키지 못하며, 특히 오프-폴리시 설정에서 그러한 경향이 뚜렷하다고 밝히고, 가치 오차를 벨먼 오차보다 우선 목표로 삼아야 한다고 제안한다.

ABSTRACT

In this work, we study the use of the Bellman equation as a surrogate objective for value prediction accuracy. While the Bellman equation is uniquely solved by the true value function over all state-action pairs, we find that the Bellman error (the difference between both sides of the equation) is a poor proxy for the accuracy of the value function. In particular, we show that (1) due to cancellations from both sides of the Bellman equation, the magnitude of the Bellman error is only weakly related to the distance to the true value function, even when considering all state-action pairs, and (2) in the finite data regime, the Bellman equation can be satisfied exactly by infinitely many suboptimal solutions. This means that the Bellman error can be minimized without improving the accuracy of the value function. We demonstrate these phenomena through a series of propositions, illustrative toy examples, and empirical analysis in standard benchmark domains.

연구 동기 및 목표

• 강화학습에서 벨먼 오차와 가치 함수 정확도 간의 관계를 조사하기.
• 특히 오프-폴리시 설정에서 벨먼 오차를 최소화하는 것이 왜 가치 함수 정확도 향상에 실패하는지 밝히기.
• 오차 상쇄 효과로 인해 가치 오차가 높을 때조차도 벨먼 오차가 낮을 수 있음을 입증하기.
• 유한한 데이터 영역에서 벨먼 방정식은 무수히 많은 비최적 가치 함수에 의해 정확히 만족될 수 있음을 보여주기.
• 벨먼 오차가 아니라 가치 오차를 가치 함수 학습의 주요 목표로 삼아야 한다는 것을 주장하기.

제안 방법

• 무한 및 유한 데이터 영역에서의 벨먼 오차와 가치 오차 간 관계에 대한 이론적 분석.
• 오차 상쇄로 인해 가치 오차가 높은데도 벨먼 오차의 크기가 줄어드는 방식을 형식화한 명제와 보조정리.
• 편향된 가치 함수가 비편향된 것보다 낮은 벨먼 오차를 가질 수 있음을 보여주는 토이 환경 구축.
• 표준 강화학습 벤치마크에서 벨먼 잔차 최소화(BRM)와 피팅된 Q-평가(FQE) 간의 실증적 평가.
• 온-폴리시 및 오프-폴리시 데이터셋을 모두 활용해 벨먼 오차와 가치 오차 간 상관관계 평가.
• 표준 하이퍼파rameter를 사용한 표준 강화학습 알고리즘을 적용해 실용적 환경에서의 결과 일반화 가능성 검증.

실험 결과

연구 질문

• RQ1 왜 실무에서 벨먼 오차를 최소화해도 가치 함수 정확도가 향상되지 않는가?
• RQ2 벨먼 방정식 양변의 편향된 추정치 간 오차 상쇄가 벨먼 오차의 크기에 어떻게 영향을 미치는가?
• RQ3 유한한 데이터 설정에서 벨먼 방정식은 무수히 많은 비최적 가치 함수에 의해 정확히 만족될 수 있는가?
• RQ4 왜 벨먼 잔차 최소화(BRM)는 벨먼 오차는 낮추지만 가치 오차는 Fitted Q-Evaluation(FQE)보다 높게 만드는가?
• RQ5 다양한 강화학습 환경과 데이터 영역에서 벨먼 오차가 실제 가치 함수 정확도와 얼마나 관련이 있는가?

주요 결과

• 편향된 추정치 간 오차 상쇄로 인해 벨먼 오차의 크기는 가치 오차와 약한 상관관계를 가진다.
• 편향된 가치 함수는 절대 가치 오차가 더 높음에도 불구하고 비편향된 것보다 낮은 벨먼 오차를 가질 수 있다.
• 유한한 데이터 영역에서는 벨먼 방정식이 무수히 많은 비최적 가치 함수에 의해 정확히 만족될 수 있어, 벨먼 오차 최소화가 목표로서 효과적이지 않다.
• 실증 결과로는 BRM이 벨먼 오차를 직접 최소화하지만, 온-폴리시 데이터에서도 FQE보다 훨씬 높은 가치 오차를 기록함을 확인했다.
• 오프-폴리시 설정에서는 BRM이 근사적으로 0에 가까운 벨먼 오차를 기록하지만 큰 가치 오차를 유발함으로써 성능 격차가 더욱 악화된다.
• 결과적으로 벨먼 오차는 특히 오프-폴리시 강화학습에서 모델 선택이나 목적 함수로 신뢰할 수 없는 지표임을 시사한다.