[논문 리뷰] Decentralized Likelihood Quantile Networks for Improving Performance in Deep Multi-Agent Reinforcement Learning

Xueguang Lu, Christopher Amato|arXiv (Cornell University)|2018. 12. 15.

Reinforcement Learning in Robotics참고 문헌 20인용 수 1

한 줄 요약

이 논문은 분산형 가능도 히스토그램 분위수 네트워크(DLQN)를 제안하여, 값 추정 과신을 자동으로 스케줄링하는 방식으로 딥 다중에이전트 강화학습에서 샘플 효율성과 수렴성을 향상시킨다. 분산 방식으로 수익 분포의 분위수를 추정함으로써 DLQN은 학습을 안정화시키고, 하위최적의 동료 에이전트 행동 조건에서도 공동 최적 정책으로 수렴할 수 있도록 한다.

ABSTRACT

Recent successes of value-based multi-agent deep reinforcement learning employ optimism by limiting underestimation updates of value function estimator, through carefully controlled learning rate (Omidshafiei et al., 2017) or reduced update probability (Palmer et al., 2018). To achieve full cooperation when learning independently, an agent must estimate the state values contingent on having optimal teammates; therefore, value overestimation is frequency injected to counteract negative effects caused by unobservable teammate sub-optimal policies and explorations. Aiming to solve this issue through automatic scheduling, this paper introduces a decentralized quantile estimator, which we found empirically to be more stable, sample efficient and more likely to converge to the joint optimal policy.

연구 동기 및 목표

• 관측 불가능한 하위최적의 동료 정책과 탐색 행동으로 인해 다중에이전트 딥 강화학습에서 값 함수 과소추정 문제가 발생하는 문제를 해결한다.
• 독립적 훈련 환경에서 다중에이전트 시스템의 학습 안정성과 샘플 효율성을 향상시킨다.
• 중앙집중적 조율 없이도 값 추정 과신을 자동으로 스케줄링하여 에이전트가 공동 최적 정책으로 수렴하도록 한다.
• 학습률 또는 업데이트 확률과 같은 고정된 하이퍼파rameter에 의존하는 기존 방법의 한계를 극복한다.

제안 방법

• 각 에이전트가 중앙집중적 조율 없이도 독립적으로 추정할 수 있도록, 수익 분포를 분위수 네트워크로 모델링하는 분산형 분위수 추정기 도입.
• 가능도 기반 훈련을 통해 분위수 네트워크의 파라미터를 최적화하여, 강인하고 안정적인 분포 추정 보장.
• 분위수 분포를 통해 값 추정 과신을 동적으로 스케줄링하여 고정된 최적화 히ュ리스틱에 대한 의존도 감소.
• 각 에이전트의 별도 분위수 헤드를 유지함으로써 값 추정과 정책 학습을 분리하여 독립적 훈련 지원.
• 분위수 네트워크 훈련을 위한 가능도 기반 목표함수 적용으로 보정성과 수렴 특성 향상.
• 각 에이전트가 국소 관측과 행동만을 사용하여 자체 가치 함수를 추정할 수 있도록 분산성 확보.

실험 결과

연구 질문

• RQ1 분산형 분위수 기반 방법이 독립적 다중에이전트 딥 강화학습에서 안정성과 샘플 효율성을 향상시킬 수 있는가?
• RQ2 분위수 추정을 통한 값 추정 과신의 자동 스케줄링이 공동 최적 정책으로의 수렴을 향상시키는가?
• RQ3 제안된 방법은 고정된 학습률 또는 업데이트 확률을 사용하는 기존의 최적화 기반 접근법과 비교해 어떻게 성능을 냅니다?
• RQ4 이 방법은 관측 불가능한 동료의 하위최적성과 탐색 행동으로 인한 성능 저하를 어느 정도 완화하는가?

주요 결과

• 제안된 분산형 가능도 분위수 네트워크(DLQN)는 고정된 최적화 히ュ리스틱에 의존하는 기준 방법보다 더 높은 학습 안정성을 확보한다.
• DLQN은 더 높은 샘플 효율성을 보이며, 수렴하기 위해 환경과의 상호작용 횟수를 줄일 수 있다.
• 협동적 다중에이전트 환경에서 공동 최적 정책으로 수렴할 가능성이 더 높다.
• 실증 결과에 따르면, 분위수 추정을 통한 값 추정 과신의 자동 스케줄링 전략이 고정 레이트 및 고정 확률 최적화 전략을 능가한다.