[논문 리뷰] On the Properties of the Softmax Function with Application in Game Theory and Reinforcement Learning

Bolin Gao, Lacra Pavel|arXiv (Cornell University)|2017. 04. 03.

Mathematical and Theoretical Epidemiology and Ecology Models참고 문헌 38인용 수 212

한 줄 요약

본 논문은 softmax가 log-sum-exp 함수의 기울기임을 보이고, 역온도에 의해 제어되는 Lipschitz 및 co-coercivity 특성을 도출하며, 상태 비의존적이고 게임 이론적 강화학습 체계에 적용을 입증한다.

ABSTRACT

In this paper, we utilize results from convex analysis and monotone operator theory to derive additional properties of the softmax function that have not yet been covered in the existing literature. In particular, we show that the softmax function is the monotone gradient map of the log-sum-exp function. By exploiting this connection, we show that the inverse temperature parameter determines the Lipschitz and co-coercivity properties of the softmax function. We then demonstrate the usefulness of these properties through an application in game-theoretic reinforcement learning.

연구 동기 및 목표

• 여러분을 확장한다: 소프트맥스 함수를 볼록 해석 및 단조 연산자 이론을 사용하여 수학적 이해를 깊게 한다.
• softmax가 log-sum-exp 포텐셜의 기울기임을 확립하고, 역 온도 λ가 그 특성에 어떤 영향을 미치는지 연구한다.
• 이러한 특성이 간단한 게임 이론적 강화학습 설정에서 수렴성 측면을 보장하는지 보여준다.

제안 방법

• softmax가 log-sum-exp 함수의 기울기임을 보인다(제1조건).
• log-sum-exp 함수의 해시안/야코비안을 계산하여 softmax 야코비안을 얻는다(제2조건).
• softmax의 Lipschitz 연속성을 상수 L = λ로 확립한다(제4조건).
• Baillon–Haddad 정리에 의해 log-sum-exp의 Lipschitz 연 gradient를 이용해 1/λ-코-강성(co-coercivity)을 도출한다(보조정리 2).
• softmax의 단조성 및 최대 단조성에 대해 논의한다(제3조건 및 보조정리 1).
• 이 특성들을 단일Player 게임에서의 무상태 연속-시간 강화학습 체계(EXP-D-RL)에 적용하여 수렴 통찰을 예시한다(섹션 VI).

실험 결과

연구 질문

• RQ1 볼록 분석 및 단조 연산자 이론에서 softmax 함수의 추가적인 특성을 어떤 방식으로 도출할 수 있는가?
• RQ2 역 온도 λ가 softmax의 Lipschitz 및 코-강성 특성에 어떤 영향을 미치는가?
• RQ3 도출된 특성이 게임 이론적 강화학습의 학습 동역학 수렴을 보장할 수 있는가?
• RQ4 softmax가 log-sum-exp 포텐셜 및 음엔트로피와의 이분성(duality)과 어떤 관련이 있는가?
• RQ5 softmax가 복제자형 다이나믹스 및 진화적 게임 이론과의 연결에서 어떤 역할을 하는가?

주요 결과

• Softmax는 log-sum-exp 함수의 기울기이다(softmax = gradient of log-sum-exp).
• softmax의 야코비안은 λ배(diag(σ(z)) − σ(z)σ(z)^T) 이다.
• Softmax는 유클리드 노름에 대해 λ- Lipschitz이고 1/λ-코-강성(co-coercive)이다.
• Baillon–Haddad 정리는 log-sum-exp의 Lipschitz 연 gradient를 이용하여 softmax의 1/λ-코-강성을 시사한다.
• Softmax는 R^n에서 단조롭고 최대 단조롭다(엄밀하게는 단조롭지 않다).
• 이 특성들은 무상태의 연속 시간 강화학습 체계(EXP-D-RL)의 수렴 분석에 활용될 수 있다.