[논문 리뷰] Deep Reinforcement Learning for Autonomous Spacecraft Inspection using Illumination

David van Wijk, Kyle Dunlap외 2명|arXiv (Cornell University)|2023. 08. 04.

Optimization and Search ProblemsComputer Science인용 수 3

한 줄 요약

이 논문은 자유 비행하는 위성(부수위성)이 최대한의 조명을 확보하면서 주위성위성의 표면을 자율적으로 점검할 수 있도록 하는 딥 강화학습(PPO) 제어기를 제안한다. 물리 기반의 레이 트레이싱 조명 모델을 사용하여 에이전트는 10개의 랜덤 시드를 기반으로 모든 표면 점에 대해 98.82%의 사분위수 평균 점검률을 달성하였으며, 시뮬레이션 환경에서 저력량, 조명 인지 자율 점검이 우수한 성능을 보임을 입증한다.

ABSTRACT

This paper investigates the problem of on-orbit spacecraft inspection using a single free-flying deputy spacecraft, equipped with an optical sensor, whose controller is a neural network control system trained with Reinforcement Learning (RL). This work considers the illumination of the inspected spacecraft (chief) by the Sun in order to incentivize acquisition of well-illuminated optical data. The agent's performance is evaluated through statistically efficient metrics. Results demonstrate that the RL agent is able to inspect all points on the chief successfully, while maximizing illumination on inspected points in a simulated environment, using only low-level actions. Due to the stochastic nature of RL, 10 policies were trained using 10 random seeds to obtain a more holistic measure of agent performance. Over these 10 seeds, the interquartile mean (IQM) percentage of inspected points for the finalized model was 98.82%.

연구 동기 및 목표

• 단일 자유 비행 부수위성으로 주위성위성의 자율적이고 종합적인 점검 과제를 해결한다.
• 실제 태양 조명 모델링을 점검 과제에 통합하여 고품질의 광학 데이터 확보를 보장한다.
• 딥 강화학습을 통해 샘플 효율적이고 저수준의 제어 정책을 개발하여 점검 범위와 조명 최적화를 동시에 달성한다.
• 다양한 랜덤 시드를 통해 정책의 강인성을 평가하여 시뮬레이션 환경에서 통계적 신뢰성을 확보한다.
• 조명 인지 강화학습이 고정 논리 기반 조명 전략보다 자율 점검 과제에서 뛰어난 성능을 보임을 입증한다.

제안 방법

• 3-자유도 위성 동역학을 제어하는 신경망 정책를 훈련하기 위해 프록시럴 정책 최적화(PPO)를 딥 강화학습 알고리즘으로 사용한다. 이 동역학은 클로헤시-윌터스 방정식에 의해 기술된다.
• 각 타임스텝에서 주위성위성 표면의 직접 및 간접 태양 조명을 계산하기 위해 레이 트레이싱 기반의 맞춤형 조명 보상 신호를 설계한다.
• 표면 반사율과 조명의 각도 의존성을 고려한 현실적인 조명 조건을 시뮬레이션하기 위해 스펙트럼 조명 모델(Blinn-Phong)을 사용한다.
• 관측값으로 상대 위치, 속도 및 조명 상태를 정의하고, 조작값으로 세 축 방향의 추진력 명령을 사용한다.
• 다른 랜덤 시드를 가진 10개의 독립 정책을 훈련하여 강인성 평가 및 사분위수 평균(IQM) 성능 지표 계산을 수행한다.
• 시간에 따라 변화하는 조명 조건을 모델링하기 위해 동적인 태양 회전을 포함한 시뮬레이션 환경을 구현한다.

Figure 1 : Diagram of general reinforcement learning problem.

실험 결과

연구 질문

• RQ1 딥 강화학습 에이전트는 저수준 추진력 명령만으로 주위성위성의 모든 점을 점검하면서 조명을 최대화할 수 있는가?
• RQ2 물리 기반의 조명 모델이 강화학습 기반 점검 정책의 성능과 강인성에 어떤 영향을 미치는가?
• RQ3 동적인 조명 환경에서 에이전트는 점검 커버리지와 연료 효율성(ΔV)을 어느 정도 균형 잡고 있는가?
• RQ4 다양한 랜덤 시드 간 정책 성능는 어떻게 변화하며, 학습된 행동의 통계적 강인성은 어떠한가?
• RQ5 에이전트는 자연 궤도 운동과 태양의 회전을 활용하여 제어 사용을 최소화하면서도 조명이 좋은 상태에서 점점 더 많은 점을 점검하는가?

주요 결과

• 에이전트는 100회의 시험과 10개의 랜덤 시드를 기반으로 사분위수 평균(IQM) 측정 기준으로 주위성위성의 모든 표면 점 중 98.82%를 성공적으로 점검하였다.
• 에이전트는 낮은 ΔV 소비로 높은 점검 성능를 달성하였으며, 시험 평균으로 16.25 m/s의 소비량을 기록하여 연료 효율적인 조작을 보였다.
• 예상한 바와 같이 더 엄격한 조명 기준 덕분에 스펙트럼 조명 모델(Blinn-Phong)은 단순 모델보다 약간 낮은 점검 성능를 기록하였다.
• 스펙트럼 모델의 복잡도가 증가했음에도 불구하고 에이전트는 높은 성능를 유지하였으며, 점검된 점수에 대한 95% 신뢰구간은 [98.45, 99.13]%였다.
• 에이전트는 자연 궤도 운동과 태양의 회전을 활용하여 적극적인 행동을 보였으며, 추진력 사용을 최소화하고 조명 조건이 향상될수록 점차적으로 새로운 점을 점검하였다.
• 애니메이션과 시각화 자료는 에이전트의 궤도가 시간이 지남에 따라 주위성위성을 체계적으로 탐색하면서 최적의 조명 각도를 유지함을 확인시켰다.

Figure 2 : Inspection problem formulation.