[논문 리뷰] Deep Reinforcement Learning for Safe Landing Site Selection with Concurrent Consideration of Divert Maneuvers

Keidai Iiyama, Kento Tomita외 3명|arXiv (Cornell University)|2021. 02. 24.

Air Traffic Management and Optimization참고 문헌 34인용 수 16

한 줄 요약

이 논문은 위험 탐지 및 회피 과정을 부분 관측 가능 마르코프 결정 과정(POMDP)으로 모델링하여 안전한 착륙 지점 선정과 비행 중 이탈 경로 계획을 동시에 최적화하는 딥 강화학습 프레임워크를 제안한다. 에이전트는 자동에코더를 사용해 지형 안전도 지도를 해석하고 실시간으로 목표 착륙 지점과 ZEM-ZEV 제어 이득을 동적으로 갱신하며, 초기 영역의 80% 이상이 위험한 고위험 환경에서도 94.8%의 성공 착륙을 달성한다.

ABSTRACT

This research proposes a new integrated framework for identifying safe landing locations and planning in-flight divert maneuvers. The state-of-the-art algorithms for landing zone selection utilize local terrain features such as slopes and roughness to judge the safety and priority of the landing point. However, when there are additional chances of observation and diverting in the future, these algorithms are not able to evaluate the safety of the decision itself to target the selected landing point considering the overall descent trajectory. In response to this challenge, we propose a reinforcement learning framework that optimizes a landing site selection strategy concurrently with a guidance and control strategy to the target landing site. The trained agent could evaluate and select landing sites with explicit consideration of the terrain features, quality of future observations, and control to achieve a safe and efficient landing trajectory at a system-level. The proposed framework was able to achieve 94.8 $\%$ of successful landing in highly challenging landing sites where over 80$\%$ of the area around the initial target lading point is hazardous, by effectively updating the target landing site and feedback control gain during descent.

연구 동기 및 목표

• 기존 착륙 지점 선정 알고리즘의 한계를 해결하기 위해 목표 선정과 제어 계획을 분리된 과정으로 다루는 것에서 벗어나고자 한다.
• 강하 중 미래 관측 품질, 제어 가능성, 착륙 지점 안전성 간의 동적 결합성을 고려하고자 한다.
• 착륙 지점 선정과 가이던스 제어를 동시에 최적화하여 체계 수준의 안전성과 효율성을 향상시키는 통합 프레임워크를 개발하고자 한다.
• 강하 중 순차적 관측을 통해 학습함으로써 변화하는 지형 관측 가능성과 불확실성에 적응 가능한 반응을 가능하게 하고자 한다.
• 제한된 시야 또는 높은 불확실성 하에서 실패하는 단일 관측 정책의 한계를 극복하기 위해 메모리와 피드백 제어 적응 기능을 갖춘 다단계 의사결정을 가능하게 하고자 한다.

제안 방법

• 위험 탐지 및 회피(HDA) 과정을 부분 관측 가능 마르코프 결정 과정(POMDP)으로 모델링하여 지형 인식 및 제어 동역학의 불확실성을 포괄한다.
• LIDAR에서 유도된 지형 안전도 지도(예: 기울기, 거칠기)를 압축된 상태 표현으로 변환하기 위해 자동에코더를 갖춘 딥 신경망을 사용한다.
• 현재 상태와 관측 이력에 기반해 시간에 따라 변화하는 ZEM-ZEV 피드백 제어 이득(위치 오차 이득 및 속도 오차 이득)을 출력하는 정책 네트워크를 설계한다.
• 강하 동역학, 센서 제한 조건, 지형 위험을 모델링한 고정밀 시뮬레이션 환경에서 PPO 알고리즘을 사용해 에이전트를 훈련시킨다.
• 매번 새로운 관측 후 업데이트된 지형 평가 기반으로 목표 착륙 지점을 재계획하고 제어 파rameter를 조정함으로써 온라인 적응을 가능하게 한다.
• 메모리가 없는 에이전트와 메모리 기반의 LSTM 에이전트, 고정 이득 ZEM-ZEV 컨트롤러, 단일 이탈 기준 정책의 성능을 비교하여 강인성과 적응 가능성 평가

실험 결과

연구 질문

• RQ1 고위험 지형에서 착륙 지점 선정과 비행 중 이탈 경로 계획을 어떻게 동시에 최적화하여 안전성을 향상시킬 수 있는가?
• RQ2 제한된 관측 가능성과 고위험 지형 조건 하에서 딥 강화학습 에이전트가 기존의 단일 관측 또는 고정 제어 정책보다 착륙 성공률에서 얼마나 뛰어난가?
• RQ3 에이전트 정책에 LSTM을 통한 메모리가 포함될 경우, 순차적 관측이 있는 부분 관측 환경에서 성능에 어떤 영향을 미치는가?
• RQ4 강하 중 목표 착륙 지점을 동적으로 변경함으로써 연료 효율성, 착륙 정밀도, 안전성 간의 상충 관계는 어떻게 나타나는가?
• RQ5 에이전트가 실시간으로 제어 이득을 적응 조정함으로써 최종 목표에의 수렴과 착륙 시 최종 속도에 어떤 영향을 미치는가?

주요 결과

• 메모리가 없는 딥 강화학습 에이전트는 초기 목표 주변의 80% 이상이 위험한 고위험 환경에서도 94.8%의 성공 착륙률을 기록했다.
• 메모리 기반 에이전트는 88.3%의 성공률을 기록하여 메모리가 부분 관측 환경에서 강인성을 향상시켰음을 확인했지만, 이 특정 시나리오에서는 메모리가 없는 에이전트가 더 높은 성능를 보였다.
• 고정 이득 컨트롤러 대비 최종 착륙 오차(2.492 m)와 최종 속도(0.637 m/s)를 크게 감소시켜 정밀도 향상과 부드러운 착륙 성능 향상을 입증했다.
• 에이전트는 평균적으로 이용 가능한 로켓 연료의 69.88%를 소비했으며, 이는 메모리 기반 에이전트(63.70%)와 고정 이득 컨트롤러(67.84%)보다 높은 수치로, 빈번한 목표 갱신으로 인해 안전성과 연료 효율성 간의 상충 관계가 존재함을 시사했다.
• 궤적 및 제어 이력도를 통해 강하 중에 목표 착륙 지점과 제어 이득을 동적으로 변경하는 적응적 행동을 보였으며, 추진력과 속도 조정이 지형 불확실성에 따라 반응함을 확인했다.
• 단일 이탈 정책은 성능이 열악했으며(89.7% 성공률), 특히 시야 또는 기울기 각도가 열악할 경우 초기 관측 품질에 매우 민감하게 반응하여 단일 관측 의사결정의 한계를 드러냈다.