[논문 리뷰] f-Divergence constrained policy improvement

Boris Belousov, Jan Peters|TUbilio (Technical University of Darmstadt)|2017. 12. 29.

Regional Development and Policy인용 수 8

한 줄 요약

이 논문은 f-divergence 제약을 사용한 강화학습에서 정책 개선을 위한 일반적인 프레임워크를 제안하며, 표준 Kullback-Leibler (KL) 발산을 초월하여 적용한다. f-divergence 함수의 볼록 쌍대 함수를 통해 정책 업데이트 규칙을 유도함으로써, 기존의 소프트맥스( KL) 알고리즘을 통합하고, Pearson χ² 및 헬링거 발산과 같은 다른 α-발산에 대한 새로운 업데이트 규칙을 밝혀내며, 각각에 대응하는 호환 가능한 정책 평가 방법을 함께 제공함으로써 더 유연하고 안정적인 학습을 가능하게 한다.

ABSTRACT

To ensure stability of learning, state-of-the-art generalized policy iteration algorithms augment the policy improvement step with a trust region constraint bounding the information loss. The size of the trust region is commonly determined by the Kullback-Leibler (KL) divergence, which not only captures the notion of distance well but also yields closed-form solutions. In this paper, we consider a more general class of f-divergences and derive the corresponding policy update rules. The generic solution is expressed through the derivative of the convex conjugate function to f and includes the KL solution as a special case. Within the class of f-divergences, we further focus on a one-parameter family of $α$-divergences to study effects of the choice of divergence on policy improvement. Previously known as well as new policy updates emerge for different values of $α$. We show that every type of policy update comes with a compatible policy evaluation resulting from the chosen f-divergence. Interestingly, the mean-squared Bellman error minimization is closely related to policy evaluation with the Pearson $χ^2$-divergence penalty, while the KL divergence results in the soft-max policy update and a log-sum-exp critic. We carry out asymptotic analysis of the solutions for different values of $α$ and demonstrate the effects of using different divergence functions on a multi-armed bandit problem and on common standard reinforcement learning problems.

연구 동기 및 목표

• 신뢰 영역 정책 개선을 KL 발산을 초월하여 더 넓은 범위의 f-divergence로 일반화하는 것.
• f-divergence 함수의 볼록 쌍대 함수를 사용하여 닫힌 형태의 정책 업데이트 규칙을 도출하는 것.
• 각 f-divergence와 호환 가능한 정책 평가 방법 간의 일대일 대응을 설정하는 것.
• 다양한 발산이 서로 다른 탐색 전략과 학습 역학을 유도하는 방식을 밝혀내는 것.
• 기존 알고리즘(예: REPS, Exp3)을 단일 f-divergence 프레임워크 아래 통합하고, 새로운 알고리즘 변종을 밝혀내는 것.

제안 방법

• 일반적인 f-divergence를 신뢰 영역으로 사용한 제약 최적화를 통한 정책 개선을 유도한다.
• f의 볼록 쌍대 함수의 도함수를 통해 정책 업데이트 규칙을 표현함으로써 KL 해법을 일반화한다.
• 연속적인 정책 업데이트 스펙트럼을 탐색하기 위해 α-발산 가족에 집중한다.
• 각 f-divergence를 특정 정책 평가 목표와 연결하며, 예를 들어 α=2일 때는 평균 제곱 미분 이득을 의미한다.
• 이중 목표에 대한 확률적 경사 하강법을 사용하여 잔차 경사 알고리즘의 유한 온도, 연속적 일반화를 가능하게 한다.
• 실험에서 온도 냉각을 적용하여 탐색과 이용의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 f-divergence 제약은 강화학습에서 표준 KL 기반 정책 개선을 어떻게 일반화할 수 있는가?
• RQ2 임의의 f-divergence에 대해 닫힌 형태의 정책 업데이트 규칙은 무엇이며, 기존 알고리즘과의 관계는 어떻게 되는가?
• RQ3 f-divergence의 선택이 탐색과 학습 안정성에 미치는 영향는 어떠한가?
• RQ4 각 f-divergence는 호환 가능한 정책 평가 방법과 짝을 이룰 수 있으며, 이는 알고리즘 설계에 어떤 의미를 갖는가?
• RQ5 다양한 α-발산의 점근적 및 경험적 행동은 다이어그램 및 제어 과제에서 어떻게 나타나는가?

주요 결과

• Exp3 및 경사 밴드잇 알고리즘에서 사용하는 소프트맥스 정책 업데이트 규칙은 α=1에 해당하는 KL 발산의 특수 케이스로 복원된다.
• α=2일 때, 정책 업데이트 규칙은 평균 제곱 미분 이득을 최소화하는 것으로, 평균 제곱 벨먼 오차 최소화와 밀접하게 관련되어 있다.
• KL 발산을 사용할 경우 로그-합-지배 코치가 자연스럽게 유도되며, 이는 REPS와 유사하다.
• 피어슨 χ²-발산은 높은 불확실성의 행동을 강조하는 정책 업데이트 규칙을 이끌어내어 탐색을 촉진한다.
• 경험적 결과로는 다양한 α-값이 서로 다른 학습 역학을 보이며, α=2 및 α=1.5가 다이어그램 및 표준 RL 과제에서 뛰어난 성능을 보였다.
• 이 프레임워크를 통해 잔차 경사 알고리즘의 연속적 일반화가 가능해지며, 이는 이산적이고 연속적인 학습을 연결한다.