[論文レビュー] PaCo: Parameter-Compositional Multi-Task Reinforcement Learning

Lingfeng Sun, Haichao Zhang+2 more|arXiv (Cornell University)|Oct 21, 2022

Reinforcement Learning in Robotics被引用数 7

ひとこと要約

PaCoは、タスクに依存しないパラメータセットを用いて共有ポリシー部分空間を学習するパラメータ構成型マルチタスク強化学習フレームワークを提案する。これにより、パラメータ空間における線形補間を用いた柔軟なポリシー構成が可能となり、タスクに依存しない成分とタスク固有の成分を明示的に分離することで、訓練の安定性と一般化性能を向上させ、Meta-Worldベンチマークで最先端の性能を達成する。

ABSTRACT

The purpose of multi-task reinforcement learning (MTRL) is to train a single policy that can be applied to a set of different tasks. Sharing parameters allows us to take advantage of the similarities among tasks. However, the gaps between contents and difficulties of different tasks bring us challenges on both which tasks should share the parameters and what parameters should be shared, as well as the optimization challenges due to parameter sharing. In this work, we introduce a parameter-compositional approach (PaCo) as an attempt to address these challenges. In this framework, a policy subspace represented by a set of parameters is learned. Policies for all the single tasks lie in this subspace and can be composed by interpolating with the learned set. It allows not only flexible parameter sharing but also a natural way to improve training. We demonstrate the state-of-the-art performance on Meta-World benchmarks, verifying the effectiveness of the proposed approach.

研究の動機と目的

• マルチタスク強化学習（MTRL）における、多様なタスク間で何を共有し、どのようにパラメータを共有するかを決定する課題に対処すること。
• タスクに依存しないパラメータとタスク固有のパラメータを分離することで、MTRLにおける訓練の安定性を向上させること。
• 類似したタスクと異なるタスクの両方をサポートできる統一された構成構造を用いて、柔軟なパラメータ共有を実現すること。
• 複雑なアーキテクチャや外部メタデータに依存せずに、標準的なMTRLベンチマークで優れた性能を達成すること。

提案手法

• 本手法は、すべてのタスク固有ポリシーの空間を張るタスクに依存しないパラメータセットとしての行列Φを用いて、共有ポリシー部分空間を学習する。
• 各タスク固有ポリシーは、Φの列をタスク固有の構成ベクトルwを用いて線形結合することで構成され、ポリシーのパラメータはw^TΦとして表される。
• 各タスクごとに温度パrameter α_τを設定したSoft Actor-Critic（SAC）を用い、各タスクにおけるエントロピーの水準を維持する。
• タスク固有の構成ベクトルwをタスクごとに別々に最適化することで、アクション空間ではなくパラメータ空間における補間を実現する。
• タスク固有の更新を共有パラメータセットから分離することで、勾配の競合を低減し、訓練を安定化させる。
• 主成分分析（PCA）による可視化により、構成ベクトルwが意味的に類似したタスクでクラスタリングされていることが示され、PaCoがパラメータ空間に意味的な行動構造を学習していることが示唆される。

実験結果

リサーチクエスチョン

• RQ1 パラメータ空間における線形的構成が、標準的なパラメータ共有と比較してマルチタスク強化学習の性能を向上させることができるか？
• RQ2 タスクに依存しないパラメータとタスク固有のパラメータを分離することで、MTRLにおける訓練の安定性と一般化性能にどのような影響を与えるか？
• RQ3 パラメータ空間における構成ベクトルwは、タスクが明示的に関連していない場合でも、タスク間の意味的関係を捉えることができるか？
• RQ4 PaCoフレームワークは、Meta-Worldのような標準的なMTRLベンチマークで、既存の最先端手法を上回る性能を示すか？
• RQ5 学習されたパラメータ部分空間は、補間によって未観測のタスクへどの程度一般化可能か？

主な発見

• PaCoはMeta-Worldベンチマークで最先端の性能を達成し、マルチタスク学習の効率性と最終的な性能の両面で、既存の最先端手法を上回っている。
• PCAを用いた可視化により、意味的に類似したタスク（例：窓開けとドア開け）がw空間で密にクラスタリングされていることが確認され、PaCoが意味的な行動構造を学習していることが示された。
• 関連のないタスク（例：ピン留めと窓開け）ですらw空間で近接していることが示され、本手法がタスク名以上の高レベルな行動的類似性を捉えている可能性を示している。
• タスク固有の更新を共有パラメータセットから分離することで、訓練が安定化し、勾配の競合が低減された。
• パラメータ空間における線形補間により構成されたポリシーは、良好に一般化され、単位円上にサンプリングされたポリシーが環境内で多様で意味のある行動的相互作用を示している。
• 本フレームワークは、MTRLにおけるさまざまな従来の共有構造を統合し、モジュールベースや表現ベースのアプローチに対する柔軟でスケーラブルな代替手段を提供する。