[論文レビュー] Deep Reinforcement Learning for Autonomous Spacecraft Inspection using Illumination

David van Wijk, Kyle Dunlap+2 more|arXiv (Cornell University)|Aug 4, 2023

Optimization and Search ProblemsComputer Science被引用数 3

ひとこと要約

本論文では、光学センシングのための照明を最大化しながら、自由飛行型の衛星（副衛星）が自立的（自律的）に主衛星を点検するための深層強化学習（PPO）制御器を提案する。物理ベースの光線追跡照明モデルを用い、10個の異なる乱数シードにおいて、全表面点の98.82％の四分位平均点検を達成した。これは、シミュレーション内での低推力・照明認識型の自立的点検において、強力で頑健な性能を示している。

ABSTRACT

This paper investigates the problem of on-orbit spacecraft inspection using a single free-flying deputy spacecraft, equipped with an optical sensor, whose controller is a neural network control system trained with Reinforcement Learning (RL). This work considers the illumination of the inspected spacecraft (chief) by the Sun in order to incentivize acquisition of well-illuminated optical data. The agent's performance is evaluated through statistically efficient metrics. Results demonstrate that the RL agent is able to inspect all points on the chief successfully, while maximizing illumination on inspected points in a simulated environment, using only low-level actions. Due to the stochastic nature of RL, 10 policies were trained using 10 random seeds to obtain a more holistic measure of agent performance. Over these 10 seeds, the interquartile mean (IQM) percentage of inspected points for the finalized model was 98.82%.

研究の動機と目的

• 単一の自由飛行型副衛星を用いて、主衛星を自立的かつ包括的に点検する課題に取り組む。
• 高品質な光学データ取得を保証するため、現実的な太陽照明モデルを点検タスクに統合する。
• 深層強化学習を用いて、点検カバレッジと照明を最大化する、サンプル効率的で低レベルの制御方策を開発する。
• 複数の乱数シードを用いた評価により、シミュレーテッド環境内での方策の頑健性と統計的信頼性を確保する。
• 照明認識型強化学習が、固定論理の照明戦略を上回ることを実証する。

提案手法

• 3自由度の宇宙船運動を記述するClohessy-Wiltshire方程式に従う系に対して、深層強化学習アルゴリズムとしてProximal Policy Optimization（PPO）を採用し、ニューラルネットワーク方策を学習する。
• 各タイムステップにおける主衛星表面への直接的および間接的太陽光照射を計算するため、光線追跡に基づく独自の照明報酬信号を設計する。
• 表面反射率や照明の角度依存性を含む、現実的な照明条件を再現するため、スペクトル照明モデル（Blinn-Phong）を採用する。
• 観測値を相対位置、速度、および照明状態と定義し、制御入力を3主軸方向の推力制御命令とする。
• 異なる乱数シードを用いて10個の独立した方策を学習し、頑健性を評価するとともに、四分位平均（IQM）性能指標を算出する。
• 太陽の動的回転をモデル化するため、時間経過に伴う照明条件の変化を再現するシミュレーション環境を実装する。

Figure 1 : Diagram of general reinforcement learning problem.

実験結果

リサーチクエスチョン

• RQ1 深層強化学習エージェントは、低レベルの推力制御命令のみを用いて、主衛星のすべての点を点検しながら照明を最大化することができるか？
• RQ2 物理ベースの照明モデルの導入が、強化学習に基づく点検方策の性能と頑健性に与える影響は何か？
• RQ3 動的照明環境下で、エージェントは点検カバレッジと燃料効率（ΔV）のバランスをどの程度適切にとっているか？
• RQ4 複数の乱数シードにわたって方策の性能はどのように変動し、学習された行動の統計的頑健性はいかほどか？
• RQ5 エージェントは、自然な軌道運動と太陽の回転を活用して、制御使用量を最小限に抑えながら、照明が最適な状態になるように軌道を適応的に変更するか？

主な発見

• エージェントは、100回の試行と10個の乱数シードを用いた四分位平均（IQM）で、主衛星の全表面点の98.82％を点検に成功した。
• エージェントは低ΔV消費で高い点検性能を達成し、試行平均で16.25 m/sにとどまり、燃料効率の高い運動制御を実現した。
• スペクトル照明モデル（Blinn-Phong）は、想定通り厳しい照明閾値のため、簡易モデルに比べてわずかに低い点検性能を示した。
• スペクトルモデルの複雑さが増したにもかかわらず、エージェントは高い性能を維持し、点検された点の95％信頼区間は[98.45, 99.13]%であった。
• エージェントは、自然な軌道運動と太陽の回転を活用する適応的行動を示し、推力の使用を限定的に抑えつつ、照明が改善するにつれて徐々に新しい点を点検した。
• アニメーションと可視化結果から、エージェントの軌道が時間経過とともに主衛星を体系的に探索し、最適な照明角度に一致していることが確認された。

Figure 2 : Inspection problem formulation.