[논문 리뷰] Likelihood Quantile Networks for Coordinating Multi-Agent Reinforcement Learning

Xueguang Lyu, Christopher Amato|arXiv (Cornell University)|2018. 12. 15.

Reinforcement Learning in Robotics참고 문헌 34인용 수 8

한 줄 요약

이 논문은 시간차류량(TDL)을 사용하여 동료 탐색 또는 정책 변화로 인한 전이를 식별하고 가중치를 낮추는 분산형 다중에이전트 강화학습 방법인 가능성 분위수 네트워크(Likelihood Quantile Networks, LQN)를 제안한다. 수익 분포의 가능성을 추정함으로써 LQN은 학습 속도를 적응적으로 조정하고, 안정성 향상, 샘플 효율성 향상, 그리고 도전적인 벤치마크에서 공동 최적 정책으로의 수렴을 위한 동적 위험 왜곡을 통합한다.

ABSTRACT

When multiple agents learn in a decentralized manner, the environment appears non-stationary from the perspective of an individual agent due to the exploration and learning of the other agents. Recently proposed deep multi-agent reinforcement learning methods have tried to mitigate this non-stationarity by attempting to determine which samples are from other agent exploration or suboptimality and take them less into account during learning. Based on the same philosophy, this paper introduces a decentralized quantile estimator, which aims to improve performance by distinguishing non-stationary samples based on the likelihood of returns. In particular, each agent considers the likelihood that other agent exploration and policy changes are occurring, essentially utilizing the agent's own estimations to weigh the learning rate that should be applied towards the given samples. We introduce a formal method of calculating differences of our return distribution representations and methods for utilizing it to guide updates. We also explore the effect of risk-seeking strategies for adjusting learning over time and propose adaptive risk distortion functions which guides risk sensitivity. Our experiments, on traditional benchmarks and new domains, show our methods are more stable, sample efficient and more likely to converge to a joint optimal policy than previous methods.

연구 동기 및 목표

• 다른 에이전트의 동시 학습 및 탐색으로 인한 비정적 상태(non-stationarity) 문제를 해결하기 위해.
• 오라클이나 중심집중식 정보에 의존하지 않고도 하이퍼파라미터가 없는 일반적인 방법을 개발하여, 비최적 또는 탐색 전이를 자동으로 식별하기 위해.
• 협동적 다중에이전트 강화학습(MARL) 환경에서 학습 안정성 향상 및 공동 최적 정책으로의 수렴을 향상시키기 위해.
• 동적 위험 왜곡을 통합하여 환경의 확률적 특성과 정책 변화에 대한 강건성을 향상시키기 위해.

제안 방법

• 수익 분포 표현을 사용하여 전이가 동료 탐색 또는 정책 변화로 인한 것인지의 가능도를 측정하는 새로운 가능성 기반 추정기인 시간차류량(Time Difference Likelihood, TDL)을 제안한다.
• 암묵적 분위수 네트워크(IQN)를 다중에이전트 환경으로 확장하여 TDL 값을 계산하기 위해 보조 가치 분포 기대값을 사용하는 가능성-분위수 네트워크(Likelihood-IQN, LH-IQN)를 구축한다.
• 위험 민감 함수인 CVaR 및 Wang 왜곡을 사용하여 시간에 따라 최적화를 스케줄링하는 동적 위험 왜곡(Dynamic Risk Distortion, DRD) 연산자를 도입하며, 위험 파라미터 η를 안내한다.
• TDL을 활용해 학습 속도 조정을 이끌어내며, 가능도가 낮은 전이(즉, 동료 탐색으로 인한 전이)에 대해 더 높은 업데이트를 적용하여 가치 추정에 대한 부정적 영향을 줄인다.
• TDL과 함께 DRD 연산자를 적용하여 정책의 강건성을 향상시키며, 특히 확률적 특성이 높은 환경에서 유의미한 성능 향상을 이룬다.
• 자기지도 메커니즘을 도입하여 에이전트가 실제 탐색 레이블에 접근하지 않고도 관측된 전이로부터 동료 탐색 상태를 자율적으로 추론한다.

실험 결과

연구 질문

• RQ1 분산형 방법이 동료 탐색으로 인한 비정적 전이와 환경의 확률적 특성으로 인한 전이를 자동으로 구분할 수 있는가?
• RQ2 수익 분포 가능성은 다중에이전트 강화학습에서 적응적 학습 속도 스케줄링을 어떻게 이끌 수 있는가?
• RQ3 동적 위험 왜곡을 통합하면 높은 확률적 특성을 가진 다중에이전트 환경에서 정책의 안정성과 수렴성을 향상시킬 수 있는가?
• RQ4 TDL과 DRD를 결합하여 하이퍼파라미터 튜닝이나 중심집중식 학습 구성 요소 없이 성능 향상을 이룰 수 있는가?

주요 결과

• TDL를 적용한 LH-IQN은 표준 및 새로운 벤치마크에서 DQN, LDQN, 일반 IQN과 같은 기준 모델들에 비해 훈련 안정성과 샘플 효율성이 크게 향상된다.
• 자기 탐색 전이와 동료 탐색 전이 간에 TDL 값이 유의미하게 다름을 보이며, 실제 탐색 레이블 없이도 비정적 영향을 탐지할 수 있음을 입증한다.
• TDL와 동적 위험 왜곡(DRD)의 조합은 특히 슬라이딩 확률 0.3인 고확률적 특성 환경에서 최적 정책으로의 수렴 속도를 빠르게 한다.
• η를 안내하는 DRD(초기 0.9에서 0.4로 감소)는 고정된 위험 왜곡보다 성능이 뛰어나며, 그림자 균형을 깨뜨리고 분위수 추정 불일치를 줄여 초기 훈련 단계를 향상시킨다.
• 고정된 위험 왜곡을 사용하더라도 LH-IQN은 LDQN과 일반 IQN보다 더 뛰어난 성능을 기록하며, 이는 방법의 강건성과 적응성의 우수함을 보여준다.
• 이전의 분산형 방법이 실패하는 도메인에서도 공동 최적 정책으로 수렴을 달성함으로써, 복잡하고 비정적 환경에서의 효과성을 입증한다.