[論文レビュー] Curiosity-driven Exploration in Sparse-reward Multi-agent Reinforcement Learning

Jiong Li, Pratik Gajane|arXiv (Cornell University)|Feb 21, 2023

Behavioral Health and Interventions被引用数 4

ひとこと要約

本稿では、I-Go-Exploreを提案する。これは、インセンティブ・カURIOSティ・モジュール（ICM）とGo-Exploreフレームワークを組み合わせた新規手法であり、スパarsely-rewardedなマルチエージェント強化学習におけるサンプル効率を向上させることを目的としている。ICMとGo-Exploreの軌道ベース探索を統合することで、分離（detachment）や脱線（derailment）を軽減し、特に長時間スケールのタスクにおいて顕著に高速化された学習と向上したパフォーマンスを達成した。マルチエージェントの捕食者・獲物環境での実験では、学習時間の12%の短縮と、累積報酬の優位性が示された。

ABSTRACT

Sparsity of rewards while applying a deep reinforcement learning method negatively affects its sample-efficiency. A viable solution to deal with the sparsity of rewards is to learn via intrinsic motivation which advocates for adding an intrinsic reward to the reward function to encourage the agent to explore the environment and expand the sample space. Though intrinsic motivation methods are widely used to improve data-efficient learning in the reinforcement learning model, they also suffer from the so-called detachment problem. In this article, we discuss the limitations of intrinsic curiosity module in sparse-reward multi-agent reinforcement learning and propose a method called I-Go-Explore that combines the intrinsic curiosity module with the Go-Explore framework to alleviate the detachment problem.

研究の動機と目的

• スパース報酬のマルチエージェント環境における深層強化学習のサンプル非効率性を解決すること。
• 探索中に内在的報酬モジュール（ICM）に内在する分離（detachment）および脱線（derailment）問題を克服すること。
• ICMとGo-Exploreフレームワークを統合することで、長期的な軌道多様性を維持する探索効率の向上を図ること。
• 部分観測可能で協調的・競合的要因を併せ持つマルチエージェント環境で、本手法のロバストネスを評価すること。
• 内在的報酬と構造的探索の統合が、収束速度の向上と累積報酬の増加をもたらすことを実証すること。

提案手法

• 状態遷移の予測誤差に基づく内在的報酬を生成するため、インセンティブ・カURIOSティ・モジュール（ICM）を統合する。
• 高い報酬を達成した軌道を保存・再訪問することで、有望な経路の早期放棄を防ぐGo-Exploreフレームワークを適用する。
• 政策最適化にMADDPGを用い、集中学習・分散実行（CTDE）の設定を採用する。
• エージェントがまずICMに駆動された好奇心に基づいて探索を行い、次にGo-Exploreの軌道メモリを用いて有望な軌道を活用する段階的探索構造を採用する。
• 発見された高報酬軌道の記憶を維持し、将来の探索をガイドするとともに、分離を低減する。
• ICMの予測誤差と環境が提供するスパース報酬を組み合わせることで、内在的および外在的報酬のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 ICMとGo-Exploreを組み合わせることで、スパース報酬のマルチエージェント強化学習における分離問題を緩和できるか？
• RQ2 長時間スケールのタスクにおいて、I-Go-Exploreは単独のICMに比べてサンプル効率が向上するか？
• RQ3 部分観測可能な環境におけるI-Go-Exploreの性能に、探索フェーズの長さがどのように影響するか？
• RQ4 協調的・競合的状況下で、I-Go-ExploreはICMに比べて学習時間と累積報酬の点でどの程度優れているか？
• RQ5 内在的報酬と軌道ベース探索の統合が、複雑なマルチエージェント環境におけるより安定的かつスケーラブルな学習を可能にするか？

主な発見

• I-Go-ExploreはICMと比較して約12%の学習時間短縮を達成した。同じハードウェア上での実行時間は、I-Go-Exploreが15,805秒、ICMが18,005秒であった。
• 獲物エージェントはI-Go-Exploreで平均報酬-268.83を達成したのに対し、ICMでは-786.62であった。これは、より優れた逃走・生存戦略を示している。
• 捕食者エージェントはI-Go-Exploreで平均報酬8.88を達成したのに対し、ICMでは16.76であった。これは、協調性および追跡効率の向上を示唆している。
• 短期間の学習（10ステップ）ではICMが獲物に対してわずかに優位であったが、長期的学習（20ステップ）ではI-Go-Exploreがより優れた安定性を示した。
• 探索フェーズを短くしたI-Go-Explore（10ステップ）は、より長いフェーズのI-Go-ExploreおよびICMを上回った。これは、過剰な任意的探索が政策学習を劣化させる可能性があることを示している。
• 本手法は、高報酬軌道を保存・再利用することで分離を効果的に低減し、エピソード間で進行を維持できるようになった。