[論文レビュー] Model-free Learning with Heterogeneous Dynamical Systems: A Federated LQR Approach

Han Wang, Leonardo F. Toso+2 more|arXiv (Cornell University)|Aug 22, 2023

Privacy-Preserving Technologies in DataComputer Science被引用数 3

ひとこと要約

本稿では、非定常線形時不変（LTI）システムの異種エージェントに対して、モデルフリーでフェデレーテッドな強化学習アルゴリズムであるFedLQRを提案する。複数の動的特性が異なっているが類似したエージェントが、データを共有せずに共通の安定化ポリシーをポリシー勾配法により協調的に学習可能である。主な貢献は、すべてのエージェントにおいて反復的安定性を保証する理論的保証であり、低不均一性領域ではエージェント数に比例するサンプル複雑度の低減を達成し、各エージェントの最適ポリシーへの収束を加速することである。

ABSTRACT

We study a model-free federated linear quadratic regulator (LQR) problem where M agents with unknown, distinct yet similar dynamics collaboratively learn an optimal policy to minimize an average quadratic cost while keeping their data private. To exploit the similarity of the agents' dynamics, we propose to use federated learning (FL) to allow the agents to periodically communicate with a central server to train policies by leveraging a larger dataset from all the agents. With this setup, we seek to understand the following questions: (i) Is the learned common policy stabilizing for all agents? (ii) How close is the learned common policy to each agent's own optimal policy? (iii) Can each agent learn its own optimal policy faster by leveraging data from all agents? To answer these questions, we propose a federated and model-free algorithm named FedLQR. Our analysis overcomes numerous technical challenges, such as heterogeneity in the agents' dynamics, multiple local updates, and stability concerns. We show that FedLQR produces a common policy that, at each iteration, is stabilizing for all agents. We provide bounds on the distance between the common policy and each agent's local optimal policy. Furthermore, we prove that when learning each agent's optimal policy, FedLQR achieves a sample complexity reduction proportional to the number of agents M in a low-heterogeneity regime, compared to the single-agent setting.

研究の動機と目的

• 制御系におけるモデルフリー強化学習の高サンプル複雑度に対処すること。
• 生データを共有せずに、動的特性が異なっているが類似した複数エージェント間で協調的ポリシー学習を可能にすること。
• 動的不均一性が存在しても、学習された共通ポリシーがすべてのエージェントに対して安定化可能であることを保証すること。
• 共通ポリシーと各エージェントの個別最適ポリシーとの間の性能ギャップを定量化すること。
• フェデレーテッド協調によって個別最適ポリシーを学習する際のサンプル複雑度低減を分析すること。

提案手法

• M個のエージェントから得たポリシー勾配を中央サーバーでフェデレーテッド学習により集約し、生データを共有せずに協調学習を実現する。
• モデルフリーのポリシー勾配法を採用し、推定誤差の低減を図るため、滑らかさを導入した軌道サンプリングにより勾配を推定する。
• すべてのエージェントが各ラウンドで安定したまま保たれるように、ポリシー更新を安定化コントローラー集合内に制約することで反復的安定性を強制する。
• リャプノフ型の議論と集中不等式を用いた理論的分析により、推定誤差と不均一性の影響を上限で制御する。
• 不均一性はシステム行列の摂動としてモデル化され、共通ポリシーと各エージェントの最適ポリシーとの乖離に対する上限が導出される。
• 低不均一性仮定の下で収束が保証され、近似的最適性能に到達するための明示的なサンプル複雑度上限が導出される。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッド学習により学習された共通ポリシーは、動的特性が不均一なすべてのエージェントに対して安定化可能か？
• RQ2 コスト関数ギャップの観点から、共通ポリシーは各エージェントの個別最適ポリシーにどの程度近いか？
• RQ3 連携するフェデレーション内の他のエージェントのデータを活用することで、各エージェントは自身の最適ポリシーへの収束をより速く達成できるか？
• RQ4 システムの不均一性は、フェデレーテッドポリシーの性能および安定性にどのような影響を与えるか？
• RQ5 個別エージェントがフェデレーテッド協調によって学習する際、どの程度のサンプル複雑度低減が達成可能か？

主な発見

• FedLQRは、不均一な動的特性が存在する中でも、すべてのエージェントに対して反復的安定性を保証する共通ポリシーを維持する。
• 共通ポリシーと各エージェントの最適ポリシーとの距離は、訓練ラウンド数が増加するにつれて指数的に減少する項で上限が与えられる。
• 低不均一性領域では、単一エージェント学習と比較して、FedLQRはエージェントごとの最適ポリシーを学習するためのサンプル複雑度をエージェント数Mに比例する要因で低減する。
• FedLQRの収束速度は、最適共分散行列の条件数と制御コスト行列の最小固有値に支配される。
• 適切に選ばれた軌道長、滑らかさ半径、およびサンプルサイズにより、推定誤差と不均一性誤差を制御でき、高確率で近似的最適性能を達成する。
• 理論的分析により、不均一性が有界であれば、モデルフリーLQRにフェデレーテッド学習を安全に適用可能であることが確認された。