[논문 리뷰] A short variational proof of equivalence between policy gradients and soft Q learning

Pierre H. Richemond, Brendan Maginnis|arXiv (Cornell University)|2017. 12. 22.

Reinforcement Learning in Robotics참고 문헌 12인용 수 3

한 줄 요약

이 논문은 볼록 쌍대성, 특히 지브스/Donsker-Varadhan 공식을 사용하여 소프트 Q-학습과 소프트맥스 정책 기울기 간의 등가성을 간결한 변분 증명으로 제시한다. 이를 통해 엔트로피 정규화와 소프트맥스 완화가 이중적인 시각임을 규명하고, 유창한 유도 과정을 가능하게 하며, 최적 정책으로부터의 KL 발산을 통해 최적성 갭을 바ounds하는 새로운 정책 부등식을 도입한다.

ABSTRACT

Two main families of reinforcement learning algorithms, Q-learning and policy gradients, have recently been proven to be equivalent when using a softmax relaxation on one part, and an entropic regularization on the other. We relate this result to the well-known convex duality of Shannon entropy and the softmax function. Such a result is also known as the Donsker-Varadhan formula. This provides a short proof of the equivalence. We then interpret this duality further, and use ideas of convex analysis to prove a new policy inequality relative to soft Q-learning.

연구 동기 및 목표

• 볼록 쌍대성을 사용하여 소프트 Q-학습과 소프트맥스 정책 기울기 간의 등가성을 더 짧고 통찰력 있게 증명하는 것.
• 엔트로피 정규화와 소프트맥스 완화가 이 둘을 통합하는 데 핵심적인 역할을 하는 이유를 명확히 하는 것.
• 최적 정책으로부터의 KL 발산을 사용하여 최적성 갭을 바ounds하는 새로운 정책 부등식을 유도하는 것.
• 이 이론적 등가성과 볼록 분석 및 대규모 편차 이론의 기존 결과를 연결하는 것.
• 미래의 볼록 최적화 알고리즘과 강화 학습 방법 간의 쌍대성에 대한 기초를 마련하는 것.

제안 방법

• 자유 에너지 기능을 엔트로피 기능의 볼록 쌍대 함수로 표현하기 위해 지브스 변분 원리를 사용한다.
• 최적 정책의 가치를 갈릴레오 측도 하에서 보상의 로그-파트리션 함수로 표현하기 위해 Donsker-Varadhan 공식을 적용한다.
• 레전드르-펜켈 쌍대성을 활용하여 1단계 밴딧 설정에서 소프트 Q-학습과 정책 기울기 간의 등가성을 유도한다.
• 예상 보상 갭과 정책 간의 KL 발산을 연결하는 운반 부등식을 도입한다.
• 볼록 함수의 역 레전드르 변환을 사용하여 일반 부등식을 유도하고, 보상 차이와 KL 발산을 연결한다.
• 파arameterized 소프트맥스 정책에 이 쌍대 프레임워크를 적용하여, 최적 정책으로부터의 KL 발산이 해당 정책 하에서의 기대 Q-값과 기대 보상 간의 차이에 비례함을 보여준다.

실험 결과

연구 질문

• RQ1 볼록 쌍대성을 어떻게 활용하여 소프트 Q-학습과 정책 기울기 간의 등가성을 더 짧고 통찰력 있게 증명할 수 있는가?
• RQ2 강화 학습 맥락에서 엔트로피 정규화와 소프트맥스 완화 간의 정확한 수학적 관계는 무엇인가?
• RQ3 최적 정책으로부터의 KL 발산을 사용하여 최적성 갭을 바ounds하는 새로운 정책 부등식을 도출할 수 있는가?
• RQ4 Donsker-Varadhan 변분 공식은 엔트로피와 기대값을 강화 학습에서 어떻게 통합적으로 다루는가?
• RQ5 이 쌍대성은 강화 학습에서 분산 감소 기법이나 새로운 최적화 알고리즘 설계에 어떤 영향을 미치는가?

주요 결과

• 지브스 변분 원리와 볼록 쌍대성을 사용하여 소프트 Q-학습과 소프트맥스 정책 기울기 간의 등가성이 엄밀히 증명되었으며, 이는 이전 연구보다 훨씬 짧은 증명을 가능하게 한다.
• Donsker-Varadhan 공식은 자유 에너지 기능의 변분 표현을 제공하여, 밴딧 설정에서 등가성의 직접적인 유도를 가능하게 한다.
• 새로운 정책 부등식이 도출되었으며, 임의의 정책과 최적 정책 간의 예상 보상 갭은 최적 정책으로부터의 KL 발산에 적용된 볼록 함수의 역 레전드르 변환의 역함수로 바ounds된다.
• 최적 정책과 파라미터화된 정책 간의 KL 발산이 해당 정책 하에서 기대 Q-값과 기대 보상 간의 차이에 비례함을 보였다.
• 이 프레임워크는 실무에서 다양한 소프트맥스 온도를 사용할 수 있도록 해주며, 경험적 모멘트 생성 함수를 통한 경계의 민감한 추정이 가능하다.
• 결과는 볼록 최적화, 대규모 편차 이론, 강화 학습 간의 깊은 연결을 시사하며, 몬테 카를로 추정기의 샘플 효율성 향상과 분산 감소 기법 개선을 위한 길을 열어준다.