[논문 리뷰] Deep Reinforcement Learning for Six Degree-of-Freedom Planetary Powered Descent and Landing

Brian Gaudet, Richard Linares외 1명|arXiv (Cornell University)|2018. 10. 20.

Spacecraft Dynamics and Control참고 문헌 26인용 수 32

한 줄 요약

이 논문은 6자유도(6-DOF) 화성 착륙에서 정밀착륙 정확도(오차 <5 m)를 달성하기 위해 추정된 랜더 상태를 직접 엔진 추력 명령으로 매핑하는 딥 강화학습(PPO) 기반의 통합 유도 및 제어 시스템을 제안한다. 이 방법은 노이즈와 불확실성 하에서도 강건한 성능을 보이며, 최적의 GPOPS 해법 대비 18% 더 많은 연료를 소비하지만, 기존 시스템에 비해 훨씬 뛰어난 유연성과 실시간 실행 가능성 확보한다.

ABSTRACT

Future Mars missions will require advanced guidance, navigation, and control algorithms for the powered descent phase to target specific surface locations and achieve pinpoint accuracy (landing error ellipse $

연구 동기 및 목표

• 6-DOF 추진 착륙을 위한 통합 유도 및 제어 시스템을 개발하여 <5 m 오차로 정밀착륙을 가능하게 한다.
• 자세 및 회전 제어를 포함한 완전한 우주선 역학을 반영함으로써 3-DOF 모델의 한계를 극복한다.
• 실시간 상태 추정치를 엔진 추력 명령으로 매핑하는 정책을 설계한다.
• 고정밀 시뮬레이션에서 센서 노이즈와 시스템 파rameter 불확실성에 대해 강건성을 확보한다.
• MSL 및 DR/DV 알고리즘과 같은 기존 시스템에 비해 실현 가능성과 성능 향상을 입증한다.

제안 방법

• 연속 제어 정책을 학습하기 위해 상태를 추력 명령으로 매핑하는 Proximal Policy Optimization(PPO)를 사용한다. 이는 정책 기반 강화학습 방법이다.
• 최적화 수렴성과 성능 향상을 위해 종료 보상과 형태 보상에 별도의 할인율을 적용한다.
• 전역 이동 상태 지식이 필요로 하지 않는 속도장 기반의 보상 형태 함수를 통합하여 랜더를 목표로 유도한다.
• 이동 및 회전 운동, 추진력 벡터 조절, 관성력 등을 포함한 고정밀 모델을 사용해 6-DOF 역학을 시뮬레이션한다.
• 다양한 초기 조건, 특히 9 km² 및 12 km²의 배치 타원을 포함하여 몬테카를로 시뮬레이션 환경에서 정책을 학습한다.
• 실시간 제어를 위해 훈련된 정책에 직접 공급하기 위해 상태 추정을 위해 Rao-Blackwellized 입자 필터를 사용한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 정책이 전체 6-DOF 추진 착륙 시나리오에서 <5 m 오차로 정밀착륙 정확도를 달성할 수 있는가?
• RQ2 연료 효율성과 궤도 정확도 측면에서 6-DOF 정책은 3-DOF 정책 및 최적의 GPOPS 해법에 비해 어떻게 비교되는가?
• RQ3 형태 보상과 종료 보상에 대해 다른 할인율이 정책 최적화 및 수렴에 어떤 영향을 미치는가?
• RQ4 실제 착륙 시나리오에서 센서 노이즈와 시스템 파rameter 불확실성에 대해 학습된 정책의 강건성은 어떠한가?
• RQ5 큰 이탈 거리와 같은 훈련 분포 외의 초기 조건에 대해 정책이 효과적으로 일반화될 수 있는가?

주요 결과

• 6-DOF PPO 정책은 9 km² 배치 타원에서 평균 연료 소비 308 kg(표준편차 25 kg), 최대 412 kg를 기록했다.
• 정책은 노이즈와 파rameter 불확실성에 강건하여 다양한 초기 조건에서도 높은 착륙 정확도를 유지했다.
• GPOPS 최적 해법(250 kg) 대비 18% 더 많은 연료를 소비했지만, 이 격차는 정책 아키텍처가 아니라 비최적의 보상 형태 함수 때문임이 밝혀졌다.
• 3-DOF 및 6-DOF 정책는 거의 동일한 연료 소비와 궤도 성능를 보이며, 6-DOF 정책가 3-DOF 훈련에서 잘 일반화됨을 시사한다.
• 정책은 위치 오차 5 m 이내, 착륙 시 속도 2 m/s 이하, 최소한의 자세 이탈 및 제로 자세 속도를 달성하여 정밀착륙을 실현했다.
• 시스템은 계산적으로 경량이며, 제어 업데이트당 단지 네 번의 행렬 곱셈만을 요구하여 항공 전산기와의 호환성이 높다.