[논문 리뷰] Neural Replicator Dynamics

Daniel Hennes, Dustin Morrill외 9명|arXiv (Cornell University)|2019. 06. 01.

Reinforcement Learning in Robotics참고 문헌 85인용 수 13

한 줄 요약

이 논문은 신경 복제 역학(Neural Replicator Dynamics, NeuRD)을 소개한다. NeuRD는 진화 게임 이론의 복제 역학에서 영감을 얻어 표준 소프트맥스 기반 정책 갱신을 정책 로짓에 직접 갱신하는 것으로 대체하는 새로운 정책 그래เดียน트 방법이다. 소프트맥스를 통한 기울기 전파를 생략함으로써, 비정적 다중에이전트 환경에서의 안정성과 적응 능력을 향상시킨다. Kuhn 포커, Leduc 포커, Goofspiel에서 표준 정책 그래디언트보다 우수한 성능을 보였다.

ABSTRACT

Policy gradient and actor-critic algorithms form the basis of many commonly used training techniques in deep reinforcement learning. Using these algorithms in multiagent environments poses problems such as nonstationarity and instability. In this paper, we first demonstrate that standard softmax-based policy gradient can be prone to poor performance in the presence of even the most benign nonstationarity. By contrast, it is known that the replicator dynamics, a well-studied model from evolutionary game theory, eliminates dominated strategies and exhibits convergence of the time-averaged trajectories to interior Nash equilibria in zero-sum games. Thus, using the replicator dynamics as a foundation, we derive an elegant one-line change to policy gradient methods that simply bypasses the gradient step through the softmax, yielding a new algorithm titled Neural Replicator Dynamics (NeuRD). NeuRD reduces to the exponential weights/Hedge algorithm in the single-state all-actions case. Additionally, NeuRD has formal equivalence to softmax counterfactual regret minimization, which guarantees convergence in the sequential tabular case. Importantly, our algorithm provides a straightforward way of extending the replicator dynamics to the function approximation setting. Empirical results show that NeuRD quickly adapts to nonstationarities, outperforming policy gradient significantly in both tabular and function approximation settings, when evaluated on the standard imperfect information benchmarks of Kuhn Poker, Leduc Poker, and Goofspiel.

연구 동기 및 목표

• 비정적 다중에이전트 환경에서 표준 정책 그래디언트 방법의 불안정성과 열악한 성능 문제를 해결하기 위해.
• 진화 게임 이론의 복제 역학에서 영감을 얻은 모델-프리이고 함수 근사와 호환되는 알고리즘을 개발하기 위해.
• 변화하는 상대 전략에 빠르게 적응하면서도 0-합 게임에서 수렴 보장을 유지하기 위해.
• 표준 정책 그래디언트에 대해 원줄 수정으로서의 원칙적인 접근을 제공하기 위해, 소프트맥스를 직접 정책 최적화로 대체하는 것.

제안 방법

• NeuRD는 표준 정책 그래디언트 갱신을 소프트맥스를 통한 것으로 대체하여, 정책 로짓을 수정된 기울기 스텝을 사용해 직접 갱신한다.
• 이 방법은 비가역적인 소프트맥스 변환을 피하는 자연 기울기 유사 갱신을 사용하여 더 안정적인 정책 갱신을 이끈다.
• 표현형 단일 상태 케이스에서는 헤지(지수 가중치) 알고리즘과 수학적으로 동치이며, 소프트맥스를 사용한 반사적 위험 최소화와도 동치이다.
• 적절한 매개변수화 하에 이는 이산 시간 복제 역학과 동치를 유지하여 0-합 게임에서 나시 균형으로의 수렴을 보장한다.
• 이 방법은 심층 신경망과 완전히 호환되며, 순서형 표현이나 완전한 정보 가정을 필요로 하지 않는다.
• 업데이트 규칙은 표준 정책 그래디언트의 변환으로 유도되며, 핵심 변경 사항은 소프트맥스 층을 통한 기울기 전파를 제거하는 것이다.

실험 결과

연구 질문

• RQ1 비정적 다중에이전트 환경에서 비정상성에 더 강건한 정책 그래디언트 방법을 설계할 수 있는가?
• RQ2 소프트맥스 기울기 스텝을 복제 역학에서 영감을 얻은 갱신으로 대체하면 다중에이전트 강화학습에서 수렴성과 안정성이 향상되는가?
• RQ3 복제 역학을 심층 신경망과 같은 함수 근사 설정으로 효과적으로 확장할 수 있는가?
• RQ4 NeuRD와 헤지 또는 반사적 위험 최소화와 같은 기존의 위험 최소화 알고리즘 사이에 공식적인 연결 고리가 존재하는가?
• RQ5 NeuRD는 불완전 정보 게임의 표본 및 심층 강화학습 벤치마크에서 표준 정책 그래디언트보다 뛰어난 성능을 보이는가?

주요 결과

• NeuRD는 Kuhn 포커, Leduc 포커, Goofspiel에서 비정적 다중에이전트 환경에서 표준 정책 그래디언트 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 알고리즘이 상대 전략의 변화에 매우 신속하게 적응하여 기준 PG 방법에 비해 뛰어난 반응성을 보였다.
• 표현형 설정에서는 복제 역학과 위험 최소화의 이론적 보장을 고려할 때 나시 균형으로 수렴하는 결과를 달성했다.
• 단일 상태, 모든 행동 케이스에서는 헤지 알고리즘과 수학적으로 동치로, 이론적 안정성과 수렴성을 보장한다.
• NeuRD는 소프트맥스를 사용한 반사적 위험 최소화와 동치를 유지하여 정책 그래디언트와 위험 최소화 프레임워크 사이의 다리 역할을 한다.
• 실험 결과는 소프트맥스 층을 통한 기울기 전파를 생략함으로써 심층 다중에이전트 강화학습에서 더 안정적이고 효과적인 학습이 가능하다는 것을 확인했다.