[論文レビュー] Federated Reinforcement Learning with Environment Heterogeneity

Hao Jin, Peng Yang+3 more|arXiv (Cornell University)|Apr 6, 2022

Reinforcement Learning in Robotics被引用数 10

ひとこと要約

本稿では、経験を共有せずに共有ポリシーを学習する環境非均質的設定を想定した、フェデレーテッド強化学習アルゴリズム QAvg および PAvg を提案する。環境埋め込みを用いたパーソナライゼーションヒューリスティックを導入することで、局所的パフォーマンスが向上し、未観測の環境への高速適応が可能となる。理論的収束解析により、サブオプティマルさは環境の非均質性に依存することが示された。

ABSTRACT

We study a Federated Reinforcement Learning (FedRL) problem in which $n$ agents collaboratively learn a single policy without sharing the trajectories they collected during agent-environment interaction. We stress the constraint of environment heterogeneity, which means $n$ environments corresponding to these $n$ agents have different state transitions. To obtain a value function or a policy function which optimizes the overall performance in all environments, we propose two federated RL algorithms, exttt{QAvg} and exttt{PAvg}. We theoretically prove that these algorithms converge to suboptimal solutions, while such suboptimality depends on how heterogeneous these $n$ environments are. Moreover, we propose a heuristic that achieves personalization by embedding the $n$ environments into $n$ vectors. The personalization heuristic not only improves the training but also allows for better generalization to new environments.

研究の動機と目的

• 複数のエージェントが異なる状態遷移を示す環境で動作するもと、経験を共有せずに一様に効果的なポリシーを学習する課題に対処すること。
• 環境非均質性の存在下でのフェデレーテッド強化学習アルゴリズムの収束性およびサブオプティマルさを理論的に分析すること。
• 原始経験を共有せずに、エージェントが個々の環境に合わせて共有ポリシーを適応可能にするパーソナライゼーション機構を開発すること。
• 環境埋め込みの軽微な微調整により、新規で未観測の環境へモデルを一般化可能とする。

提案手法

• QAvg および PAvg を、局所的ポリシー更新とグローバルモデル平均化を実行するモデルフリーなフェデレーテッドRLアルゴリズムとして提案し、環境非均質性下での収束解析を実施する。
• 深層強化学習への応用を可能とするために、深層Qネットワーク（DQNAvg）および深層決定性方策勾配（DDPGAvg）を用いて QAvg および PAvg を拡張する。これにより、複雑な制御タスクへの適用が可能となる。
• 環境固有の状態遷移ダイナミクスを捉えるために、各環境ごとに低次元のベクトル（環境埋め込み）を導入する。
• モデルアグリゲーションの分離：グローバル平均化の際、環境埋め込み層を除外することで、環境固有の特徴を保持しつつ、コアなポリシーネットワークを共有する。
• 環境埋め込みの微調整のみで、未観測の環境への高速適応を実現する。共有ポリシーネットワークは固定したままとする。
• 表形式および深層強化学習環境における実験的評価を通じて、収束性、パフォーマンス、一般化能力を検証する。

実験結果

リサーチクエスチョン

• RQ1 環境非均質性は、フェデレーテッド強化学習アルゴリズムの収束性およびパフォーマンスにどのように影響を与えるか？
• RQ2 フェデレーテッド学習を用いて学習された単一の共有ポリシーは、異なる状態遷移を示す複数の環境において一様に良好なパフォーマンスを達成できるか？
• RQ3 原始経験を共有せずにフェデレーテッドRLでどの程度のパーソナライゼーションが達成可能であり、その有効性は局所的パフォーマンス向上にどの程度寄与するか？
• RQ4 学習済みのフェデレーテッドポリシーは、最小限の適応で新規環境に一般化可能か？最も効率的な適応戦略は何か？

主な発見

• QAvg および PAvg はサブオプティマルな解に収束するが、環境非均質性が高くなるほどサブオプティマルさが増大する。
• 提案された DQNAvg および DDPGAvg アルゴリズムは、独立学習ベースラインおよび非フェデレーテッドバージョンを上回り、学習段階および一般化段階の両方で優れたパフォーマンスを達成する。
• 環境埋め込みを用いたパーソナライゼーションヒューリスティックは、図5の平均報酬の上昇により、局所的学習パフォーマンスの顕著な向上が示された。
• 環境埋め込みのみの微調整により、未観測環境への高速かつ安定な一般化が可能であり、全ネットワークの微調整を上回る性能を示した（図6）。
• わずかな更新（埋め込み層の調整のみ）で、新規環境への一般化が良好に実現され、共有ポリシーが保持された。
• 実験結果により、経験を共有しなくてもポリシー通信が局所的学習を加速することが確認され、フェデレーテッド協調の利点が裏付けられた。