[논문 리뷰] A Kernel Loss for Solving the Bellman Equation

Yihao Feng, Lihong Li외 1명|arXiv (Cornell University)|2019. 05. 25.

Reinforcement Learning in Robotics인용 수 26

한 줄 요약

이 논문은 강화학습에서 벨만 방정식을 해결하기 위한 새로운 커널 기반 손실 함수를 제안하며, 기울기 기반 최적화를 통해 안정적이고 수렴 가능한 가치 함수 학습을 가능하게 한다. 기존 방법과 달리 이중 샘플 문제를 피하고, 온-폴리시 및 오프-폴리시 설정 모두에서 신경망과 함께 신뢰성 있게 작동하며, 표준 알고리즘이 발산하는 벤치마크에서 뛰어난 수렴성과 정확도를 보인다.

ABSTRACT

Value function learning plays a central role in many state-of-the-art reinforcement-learning algorithms. Many popular algorithms like Q-learning do not optimize any objective function, but are fixed-point iterations of some variant of Bellman operator that is not necessarily a contraction. As a result, they may easily lose convergence guarantees, as can be observed in practice. In this paper, we propose a novel loss function, which can be optimized using standard gradient-based methods without risking divergence. The key advantage is that its gradient can be easily approximated using sampled transitions, avoiding the need for double samples required by prior algorithms like residual gradient. Our approach may be combined with general function classes such as neural networks, on either on- or off-policy data, and is shown to work reliably and effectively in several benchmarks.

연구 동기 및 목표

• 비수렴성 보장이 없는 깊이 강화학습 알고리즘에서 비수축성 벨만 연산자를 사용하는 데 기인한 불안정성과 수렴성 부족 문제를 해결하기 위해.
• 잔차 기울기 방법에서 유래하는 이중 샘플 문제를 피하는, 미분 가능하고 최적화 기반의 가치 함수 학습 목적함수를 개발하기 위해.
• 온-폴리시 및 오프-폴리시 설정 모두에서 비선형 함수 근사기인 신경망과 함께 안정적인 학습을 가능하게 하기 위해.
• SBEED와 같은 복잡한 미니맥스 공식화의 실용적이고 확장 가능한 대안을 제공하면서도 이론적 수렴 보장을 유지하기 위해.
• TD(0) 또는 FVI와 같은 불안정한 구성 요소를 더 신뢰할 수 있는 가치 함수 학습 메커니즘으로 대체하여 정책 평가 및 최적화를 향상시키기 위해.

제안 방법

• 정적 엄격 양성 정의 커널을 기반으로 한 커널 손실 함수를 제안하여, 진정한 가치 함수에서 유일한 전역 최소값을 가지도록 보장한다.
• 잔차 기울기에서 요구하는 이중 샘플이 필요 없는, 단일 전이 샘플을 사용해 효율적으로 추정할 수 있는 손실의 기울기를 유도한다.
• 일반화된 커널 손실을 최소화하기 위해 표준 확률적 경사하강법을 사용하며, 약한 가정 하에 수렴성을 보장한다.
• 재생 핵 힐버트 공간(RKHS) 프레임워크를 사용해 가치 함수 클래스를 정의하여 탄력적인 함수 근사가 가능하도록 한다.
• 커널 손실을 정책 평가 및 정책 최적화에 적용하며, Trust-PCL와 같은 기존 프레임워크에 통합한다.
• 고차원 공간에서 가치 함수를 명시적으로 표현하지 않고도 기울기를 효율적으로 계산하기 위해 커널 테크닉을 활용한다.

실험 결과

연구 질문

• RQ1 비선형 함수 근사가 존재하는 상황에서도, 이 손실을 최소화하면 진정한 벨만 방정식의 해에 수렴하는, 미분 가능한 손실 함수를 설계할 수 있는가?
• RQ2 잔차 기울기의 이중 샘플 문제를 피하면서도, 단일 전이 샘플을 사용해 이 손실을 효율적으로 추정할 수 있는가?
• RQ3 제안된 커널 손실이, TD(0)나 FVI가 발산하는 경우에도 가치 함수 학습의 수렴성과 안정성을 보장하는가?
• RQ4 잔차 기울기, SBEED, 또는 GTD2와 같은 기존 방법과 비교해 수렴 속도와 최종 해의 정확도 측면에서 커널 손실은 어떠한가?
• RQ5 커널 손실이 정책 최적화 알고리즘에 효과적으로 통합되어 샘플 효율성과 학습 안정성을 향상시킬 수 있는가?

주요 결과

• 수정된 Tsitsiklis & Van Roy (1997) MDP 예제에서 제안된 커널 손실은 진정한 가치 함수로 수렴하지만, FVI와 TD(0)는 발산하고 잔차 기울기는 부분 최적해로 수렴한다.
• 풀들 월드 환경에서 커널 손실은 잔차 기울기, FVI, 비선형 GTD2, SBEED보다 낮은 평균 제곱오차(MSE)와 벨만 오차를 기록하며 안정적인 학습을 보였다.
• 카트폴 및 마운틴카 작업에서 커널 손실 방법은 MSE 및 벨만 오차 지표에서 모든 기준선보다 뛰어나며 일관된 향상을 보였다.
• Trust-PCL에 통합된 커널 손실은 마주코 환경(Swimmer, InvertedDoublePendulum, Ant, InvertedPendulum)에서 더 적은 데이터 샘플로도 평균 수익을 더 높게 기록했다.
• 커널 손실은 MSE와 벨만 오차 모두와 잘 상관관계를 보이며, 잔차 기울기에서 사용하는 L2 손실과 달리 가치 함수 정확도의 신뢰할 수 있는 대체 지표로 기능한다.
• 이 방법은 오프-폴리시 설정에서도 강건하며, 신경망 함수 근사기와 함께 효과적으로 작동하여 표준 알고리즘이 실패하는 실용적 안정성을 입증했다.