[論文レビュー] Likelihood Quantile Networks for Coordinating Multi-Agent Reinforcement Learning

Xueguang Lyu, Christopher Amato|arXiv (Cornell University)|Dec 15, 2018

Reinforcement Learning in Robotics参考文献 34被引用数 8

ひとこと要約

本稿では、時系列差分尤度（TDL）を用いて、チームメイトの探索や方策の変化によって引き起こされる遷移を同定・低減することで、分散型マルチエージェント強化学習手法である尤度分位数ネットワーク（LQN）を提案する。帰還分布の尤度を推定することで、LQNは学習率を動的に調整し、動的リスク歪曲を統合することで、安定性、サンプル効率、および困難なベンチマークにおける連携最適方策への収束性が向上する。

ABSTRACT

When multiple agents learn in a decentralized manner, the environment appears non-stationary from the perspective of an individual agent due to the exploration and learning of the other agents. Recently proposed deep multi-agent reinforcement learning methods have tried to mitigate this non-stationarity by attempting to determine which samples are from other agent exploration or suboptimality and take them less into account during learning. Based on the same philosophy, this paper introduces a decentralized quantile estimator, which aims to improve performance by distinguishing non-stationary samples based on the likelihood of returns. In particular, each agent considers the likelihood that other agent exploration and policy changes are occurring, essentially utilizing the agent's own estimations to weigh the learning rate that should be applied towards the given samples. We introduce a formal method of calculating differences of our return distribution representations and methods for utilizing it to guide updates. We also explore the effect of risk-seeking strategies for adjusting learning over time and propose adaptive risk distortion functions which guides risk sensitivity. Our experiments, on traditional benchmarks and new domains, show our methods are more stable, sample efficient and more likely to converge to a joint optimal policy than previous methods.

研究の動機と目的

• 他のエージェントの同時学習と探索によって引き起こされる非定常性に対処すること。
• オラクルや集中情報に依存せず、最適でないか探索的であると予測される遷移を自動的に同定できる一般化可能でハイパーパrameterフリーな手法を開発すること。
• 協調的マルチエージェント強化学習（MARL）設定における訓練の安定性と連携最適方策への収束性を向上させること。
• 動的リスク歪曲を統合し、環境の確率的変動や方策の変化に対してより頑健な適応的楽観性を実現すること。

提案手法

• 帰還分布表現を用いて、遷移がチームメイトの探索や方策変更によって引き起こされた確率を測定する、新たな尤度ベース推定器「時系列差分尤度（TDL）」を提案する。
• implicit quantile networks（IQN）をマルチエージェント設定に拡張し、TDL値を計算するための補助的価値分布期待値を用いる「尤度-IQN（LH-IQN）」を構築する。
• リスク感受性関数（例：CVaR や Wang 歪曲）を用い、リスクパラメータ η の冷却を伴うスケジューリングにより、時間経過に伴う楽観性をスケジューリングする「動的リスク歪曲（DRD）」演算子を採用する。
• TDLを用いて学習率の適応を誘導し、尤度が低い（＝チームメイトの探索に起因すると推定される）遷移に対して高い更新を適用することで、価値推定への悪影響を低減する。
• TDLと併用してDRD演算子を適用し、特に高い確率的変動性を示す環境においても方策の頑健性を向上させる。
• エージェントが観測した遷移からのみ、真の探索ラベルにアクセスせずにチームメイトの探索状態を推定する自己教師型メカニズムを採用する。

実験結果

リサーチクエスチョン

• RQ1 分散型手法は、チームメイトの探索に起因する非定常的遷移と環境の確率的変動に起因する遷移を自動的に区別できるか？
• RQ2 帰還分布の尤度は、マルチエージェント強化学習における適応的学習率スケジューリングをどのように誘導できるか？
• RQ3 動的リスク歪曲を統合することで、高い確率的変動性を示すマルチエージェント環境における方策の安定性と収束性が向上するか？
• RQ4 TDLとDRDを組み合わせることで、ハイパーパrameterチューニングや集中型トレーニングコンponentsを必要とせずに性能向上を達成できるか？

主な発見

• TDLを用いたLH-IQNは、DQN や LDQN、および通常の IQN といったベースライン手法と比較して、標準的および新規ベンチマーク上において、訓練の安定性とサンプル効率が顕著に向上する。
• 自己探索とチームメイトの探索に起因する遷移の間でTDL値に顕著な差が生じ、真のラベルが与えられない状況下でも非定常的要因の検出能力を示している。
• TDLと動的リスク歪曲（DRD）の組み合わせにより、確率的変動性が高く、スライディング確率が 0.3 の環境でも、最適方策への収束が著しく速くなる。
• η を 0.9 から 0.4 に冷却するDRDは、固定リスク歪曲よりも優れた性能を示し、初期学習段階で影の均衡を破り、分位数推定の不一致を低減する。
• 固定リスク歪曲を用いても、LH-IQNはLDQN や通常のIQN より優れた性能を発揮しており、本手法の頑健性と適応性を示している。
• 従来の分散型手法が失敗するような複雑で非定常な環境においても、LH-IQNは連携最適方策への収束を達成しており、本手法の有効性を実証している。