[論文レビュー] Distributed Multi-agent Meta Learning for Trajectory Design in Wireless Drone Networks

Ye Hu, Mingzhe Chen+3 more|arXiv (Cornell University)|Dec 6, 2020

UAV Applications and Optimization参考文献 29被引用数 7

ひとこと要約

本稿では、変動し予測不能な無線ネットワークにおけるドローンベースステーション（DBS）の軌道最適化を目的とした分散型マルチエージェントメタ強化学習フレームワークを提案する。価値分解強化学習（VD-RL）とメタラーニングを組み合わせることで、エネルギー制約下に置かれたドローンが協調的にユーザーのカバレッジを最大化し、未観測の環境にも素早く適応可能となり、ベースラインと比較してサービスカバレッジが53.2%向上し、収束速度が最大53.8%速くなった。

ABSTRACT

In this paper, the problem of the trajectory design for a group of energy-constrained drones operating in dynamic wireless network environments is studied. In the considered model, a team of drone base stations (DBSs) is dispatched to cooperatively serve clusters of ground users that have dynamic and unpredictable uplink access demands. In this scenario, the DBSs must cooperatively navigate in the considered area to maximize coverage of the dynamic requests of the ground users. This trajectory design problem is posed as an optimization framework whose goal is to find optimal trajectories that maximize the fraction of users served by all DBSs. To find an optimal solution for this non-convex optimization problem under unpredictable environments, a value decomposition based reinforcement learning (VDRL) solution coupled with a meta-training mechanism is proposed. This algorithm allows the DBSs to dynamically learn their trajectories while generalizing their learning to unseen environments. Analytical results show that, the proposed VD-RL algorithm is guaranteed to converge to a local optimal solution of the non-convex optimization problem. Simulation results show that, even without meta-training, the proposed VD-RL algorithm can achieve a 53.2% improvement of the service coverage and a 30.6% improvement in terms of the convergence speed, compared to baseline multi-agent algorithms. Meanwhile, the use of meta-learning improves the convergence speed of the VD-RL algorithm by up to 53.8% when the DBSs must deal with a previously unseen task.

研究の動機と目的

• 変動するユーザー要求を伴う動的かつ予測不能な無線環境下で、エネルギー制約下に置かれたドローンベースステーション（DBS）の軌道設計の課題に対処する。
• 非凸性、スケーラビリティ、未観測のシナリオへの一般化に困難を抱える従来の最適化法や強化学習手法の限界を克服する。
• 完全な状態や行動の共有を必要とせずに、複数のDBSが協調的かつ分散型に軌道計画を実行し、全体のユーザーカバレッジを最大化することを可能にする。
• メタラーニング統合により、未観測のタスク環境で動作するDBSの一般化能力と収束速度を向上させる。
• 各DBSが自身のポリシーを最適化しつつも、グローバルチームの効用に貢献できるスケーラブルで分散型の学習フレームワークを構築する。

提案手法

• DBSの軌道設計を、地上ユーザーのサービス受給率を最大化する非凸最適化問題として定式化する。
• チーム全体の効用最大化を維持しつつ、分散型ポリシー学習を可能にする価値分解に基づく強化学習（VD-RL）アルゴリズムを提案する。
• 事前タスクからの学習を通じて、未観測の環境に素早く適応できるように、VD-RLフレームワークにメタラーニングを統合する。
• 中央集権的クライアントを用いてチームの効用を推定し、エージェント間で優位性関数を分解することで、完全な状態共有なしに協調学習を可能にする。
• 適応的学習率を用いた分散型ポリシー勾配更新を実装し、やや緩い条件下でも収束を保証する。
• 多様なタスク分布にわたるポリシーおよび価値関数パラメータの事前学習を通じて、ゼロショット一般化を向上させるメタトレーニング機構を適用する。

実験結果

リサーチクエスチョン

• RQ1 エネルギー制約下のドローンチームは、変動し予測不能なユーザー要求環境において、どのようにしてカバレッジを最大化する軌道を協調的に設計できるか？
• RQ2 完全な状態や行動の共有を必要としない分散型マルチエージェント強化学習アプローチは、エージェント間の共有なしにグローバルカバレッジを効果的に最適化できるか？
• RQ3 メタラーニングを統合することで、未観測環境におけるDBS軌道ポリシーの収束速度と一般化能力はどの程度向上するか？
• RQ4 非凸かつマルチエージェント設定下において、提案されたVD-RLアルゴリズムの収束について、どのような理論的保証を提示できるか？
• RQ5 従来のマルチエージェントRLおよび最適化ベースの軌道設計手法と比較して、本手法は性能および適応性においてどのように優れているか？

主な発見

• 提案されたVD-RLアルゴリズムは、ベースラインのマルチエージェント強化学習アルゴリズムと比較して、サービスカバレッジが53.2%向上した。
• メタトレーニングを実施しなくても、VD-RLアルゴリズムはベースライン手法と比較して収束速度が30.6%向上した。
• メタラーニングの統合により、未観測タスクに直面した際、VD-RLアルゴリズムの収束速度が最大53.8%向上した。
• 理論的分析により、やや緩い条件下でVD-RLアルゴリズムが非凸最適化問題の局所最適解に収束することを証明した。
• 分散学習下でも、各DBSがチーム全体の効用を最大化する局所最適戦略に収束することを保証した。
• メタラーニングのおかげで、新しい環境への一般化が効果的に実現され、新たなタスク分布に対する再トレーニングの必要性が大幅に削減された。