[論文レビュー] Schedule Earth Observation satellites with Deep Reinforcement Learning

Adrien Hadj-Salah, Rémi Verdier+3 more|arXiv (Cornell University)|Nov 12, 2019

Optimization and Search Problems参考文献 11被引用数 10

ひとこと要約

本論文は、大規模な領域に対する要求を満たすために、A2Cを用いた深層強化学習（DRL）手法を提案し、時間経過に伴う曇りのない画像の取得を最適化することで、人間が設計したヒューリスティクスを上回る。この手法は長期戦略を学習し、最新のヒューリスティクスと比較して、ミッション完了時間を最大で10％短縮する。

ABSTRACT

Optical Earth observation satellites acquire images worldwide , covering up to several million square kilometers every day. The complexity of scheduling acquisitions for such systems increases exponentially when considering the interoperabil-ity of several satellite constellations together with the uncertainties from weather forecasts. In order to deliver valid images to customers as fast as possible, it is crucial to acquire cloud-free images. Depending on weather forecasts, up to 50% of images acquired by operational satellites can be trashed due to excessive cloud covers, showing there is room for improvement. We propose an acquisition scheduling approach based on Deep Reinforcement Learning and experiment on a simplified environment. We find that it challenges classical methods relying on human-expert heuristic.

研究の動機と目的

• 国や大陸などの大規模領域における曇りのない地球観測衛星の取得をスケジューリングする課題に対処すること。
• 天候の不確実性下で劣化する人間の専門的ヒューリスティクスに依存するのを最小限に抑え、ミッション完了時間を短縮すること。
• 深層強化学習が、古典的なヒューリスティクス手法を上回る、強固で長期的なスケジューリング方策を学習できるかどうかを評価すること。
• 天候予報の不確実性を伴う動的で不確実な環境において、衛星コンステレーションのスケジューリングにDRLを適用する可能性を実証すること。
• 実際の天候データを用いたシミュレーションを実施し、ランダム選択およびヒューリスティクスベースラインと比較して、手法の妥当性を検証すること。

提案手法

• エージェントが各衛星通過時にどのメッシュを取得するかを選択する問題を、マーカフ決定過程（MDP）として定式化する。
• 4台の同一の衛星を用いた簡略化されたシミュレーション環境を構築し、各衛星の幅は60 kmで、フランス本土を対象領域（122メッシュ）とする。
• 観測空間には、短期的（1パス）および長期的（20パス）の雲カバー予報と実際の観測値が含まれ、予報のずれをモデル化するための線形関数が用いられる。
• DRLエージェントは、空間グリッド観測を処理し、行動確率を出力するための畳み込みニューラルネットワークアーキテクチャを用いたアドバンテージアクターキャリブレーション（A2C）アルゴリズムを使用する。
• 報酬関数は、長時間のミッション期間を罰するように設計され、低雲カバーのメッシュの取得を奨励する。合計完了時間の最小化に重点を置く。
• 学習は2013–2014年の天候データを用い、テストは2015年のデータを用い、一般化性能を評価するためのトレイン・テスト分割が実施される。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、ヒューリスティクス手法と比較して、大規模領域の地球観測要求における完了までの時間を短縮するスケジューリング方策を学習できるか？
• RQ2 観測空間に長期天候予報を組み込むことで、スケジューリング性能が向上するか？
• RQ3 歴史的データで学習したDRLエージェントが、未知の天候条件にどの程度一般化できるか？
• RQ4 DRLエージェントは、ランダム選択および専門家が設計したヒューリスティクスの両方を、ミッション完了時間の観点で上回ることができるか？
• RQ5 観測時間窓（1パス対20パス）がDRLエージェントの性能に与える影響は何か？

主な発見

• 20パスの長期観測時間窓を使用するA2C-20エージェントは、平均エピソード長278.5を達成し、ヒューリスティクスエージェントの平均292.7を顕著に上回った。
• A2C-20エージェントは、テストケースの約80％でヒューリスティクスを上回る速度でミッションを完了させ、優れた一般化性能と戦略学習能力を示した。
• A2C-1エージェント（1パス視野）はヒューリスティクスと同等の性能を示し、平均エピソード長299.3であった。これは、短期的計画のみで最適なパフォーマンスを達成するのは不十分であることを示している。
• すべてのDRLエージェントが、未知の2015年の天候データに対して良好に一般化され、標準偏差が55.8～58.2と低く抑えられ、天候変動に対して強い耐性を示した。
• 結果から、予報された雲カバーに基づいた長期戦略的計画が、大規模領域の地球観測スケジューリングにおけるミッション期間の最小化に不可欠であることが確認された。
• 本研究では、DRLが複雑で不確実なスケジューリングタスクにおいて、人間が設計したヒューリスティクスを上回ることを実証し、産業応用への道筋を示した。