[論文レビュー] RL-GA: A Reinforcement Learning-Based Genetic Algorithm for Electromagnetic Detection Satellite Scheduling Problem

Yanjie Song, Luona Wei+4 more|arXiv (Cornell University)|Jun 12, 2022

Satellite Communication Systems被引用数 5

ひとこと要約

本稿では、電磁波探査衛星スケジューリング問題（EDSSP）に対して強化学習を統合した遺伝的アルゴリズム（RL-GA）を提案する。Q学習を用いて進化演算子を動的に選択し、集団の探索を効果的に導く。本手法は、大規模および実世界のインスタンスにおいて、90％を超える高い検出利益とタスク完了率を達成し、最先端のアルゴリズムを上回る解の質と効率性を示した。

ABSTRACT

The study of electromagnetic detection satellite scheduling problem (EDSSP) has attracted attention due to the detection requirements for a large number of targets. This paper proposes a mixed-integer programming model for the EDSSP problem and a genetic algorithm based on reinforcement learning (RL-GA). Numerous factors that affect electromagnetic detection are considered in the model, such as detection mode, bandwidth, and other factors. The RL-GA embeds a Q-learning method into an improved genetic algorithm, and the evolution of each individual depends on the decision of the agent. Q-learning is used to guide the population search process by choosing evolution operators. In this way, the search information can be effectively used by the reinforcement learning method. In the algorithm, we design a reward function to update the Q value. According to the problem characteristics, a new combination of is proposed. The RL-GA also uses an elite individual retention strategy to improve search performance. After that, a task time window selection algorithm (TTWSA) is proposed to evaluate the performance of population evolution. Several experiments are used to examine the scheduling effect of the proposed algorithm. Through the experimental verification of multiple instances, it can be seen that the RL-GA can solve the EDSSP problem effectively. Compared with the state-of-the-art algorithms, the RL-GA performs better in several aspects.

研究の動機と目的

• 検出モード、帯域幅、記憶容量などの複数の制約を含む、複雑な電磁波探査衛星スケジューリング問題（EDSSP）に対処すること。
• 遺伝的アルゴリズム（GA）と強化学習（RL）を統合したハイブリッド最適化手法を開発し、適応的演算子選択と向上した探索性能を実現すること。
• EDSSPの特性に適合した、新たな $<$状態, 行動$>$ の組み合わせと報酬関数を設計し、Q学習の効果的な誘導を図ること。
• 大規模および実世界のインスタンスにおいてアルゴリズムの性能を評価し、実用的なスケジューリングシナリオにおけるスケーラビリティとロバストネスを示すこと。

提案手法

• 検出モード、帯域幅、記憶容量の制約を組み込んだ混合整数プログラミングモデルをEDSSPに提案する。
• Q学習を改良された遺伝的アルゴリズムに統合し、エージェントが状態に応じたQ値に基づいて進化演算子（例：交叉、変異）を選択する。
• 集団の探索性能に基づくカスタム $<$状態, 行動$>$ 表現を設計し、RL意思決定を支援する。
• 各進化サイクル後に更新される報酬関数を採用し、解の質と進捗状況を反映させる。
• 高適応度個体を保持するエリート個体保持戦略を適用し、収束性を向上させる。
• スケジューリングプロセスにおける集団進化の評価と誘導に役立てる、タスク時間窓選択アルゴリズム（TTWSA）を導入する。

実験結果

リサーチクエスチョン

• RQ1 強化学習を遺伝的アルゴリズムに効果的に統合することで、EDSSPにおける探索の適応性をどのように向上させられるか？
• RQ2 Q学習を用いたEDSSPにおける演算子選択を誘導するための最適な $<$状態, 行動$>$ 表現は何か？
• RQ3 検出利益およびタスク完了率の観点から、提案手法RL-GAは最先端のアルゴリズムと比べてどのように差をつけるか？
• RQ4 RL-GAアルゴリズムは、大規模および実世界のEDSSPインスタンスにおいても高い性能を維持できるか？
• RQ5 報酬関数およびエリート保持戦略は、解の質と収束速度の向上にどのような役割を果たすか？

主な発見

• RL-GAアルゴリズムは、複数日のスケジューリングにおいて安定した日次検出利益を達成し、タスク完了率が90％を超えることを維持した。
• 大規模および超大規模インスタンスにおいて、RL-GAは解の質と計算時間の両面で、最先端のアルゴリズムを上回る優れた性能を示した。
• 1日1,000件のタスクを一貫した性能で計画可能であり、スケーラビリティおよび長期運用の実現可能性を実証した。
• Q学習の統合により、適応的演算子選択が可能となり、探索効率と解の適応性が顕著に向上した。
• TTWSAは集団進化の効果的な評価を可能とし、より良いスケジューリング結果と高速な収束をもたらした。
• 提案手法は、衛星スケジューリングを越えた順序依存組合せ最適化問題にも応用可能である。