[논문 리뷰] Adaptive Guidance with Reinforcement Meta-Learning

Brian Gaudet, Richard Linares|arXiv (Cornell University)|2019. 01. 12.

Reinforcement Learning in Robotics참고 문헌 21인용 수 14

한 줄 요약

이 논문은 고도로 불확실하고 시간에 따라 변하는 동역학 조건 하에서 우주선 유도에서 실시간 적응을 가능하게 하기 위해 순환 정책과 가치 함수를 사용하는 강화 학습 메타학습 프레임워크를 제안한다. 이 방법은 엔진 고장과 질량 변화가 동반된 화성 착륙 및 소행성 임무와 같은 네 가지 과제에서 비순환 정책과 전통적인 유도 법칙보다 뛰어난 성능을 보이며, 시스템 파라미터에 대한 사전 지식 없이도 강건한 적응성을 입증한다.

ABSTRACT

This paper proposes a novel adaptive guidance system developed using reinforcement meta-learning with a recurrent policy and value function approximator. The use of recurrent network layers allows the deployed policy to adapt real time to environmental forces acting on the agent. We compare the performance of the DR/DV guidance law, an RL agent with a non-recurrent policy, and an RL agent with a recurrent policy in four difficult tasks with unknown but highly variable dynamics. These tasks include a safe Mars landing with random engine failure and a landing on an asteroid with unknown environmental dynamics. We also demonstrate the ability of a recurrent policy to navigate using only Doppler radar altimeter returns, thus integrating guidance and navigation.

연구 동기 및 목표

• 알 수 없는 고도로 변동성이 큰 우주선 동역학(예: 질량 변화, 작동기 고장, 환경 불확실성 등)에 실시간으로 적응할 수 있는 유도 시스템을 개발하는 것.
• 시간에 따라 변하는 시스템 파라미터를 가진 부분 관측 환경에서 비순환 강화 학습 정책의 한계를 해결하는 것.
• 순환 네트워크가 시간적 동역학을 통해 관측되지 않은 시스템 상태(예: 질량, 힘)를 암묵적으로 학습함으로써, 명시적 상태 추정 없이도 강건한 성능을 달성할 수 있음을 보여주는 것.
• 다양하고 고도로 정교한 우주 임무 시나리오(예: 소행성 착륙, 센서 노이즈 및 시스템 고장이 있는 화성 착륙 등)에서 이 접근법의 유효성을 검증하는 것.

제안 방법

• 정책과 가치 함수 양쪽에 순환 신경망 레이어를 적용한 프록시 정책 최적화(PPO)를 사용하여 시간적 종속성을 유지하는 은닉 상태를 유지한다.
• 순환 정책의 은닉 상태는 관측 및 행동의 시퀀스에 따라 배포 중에 진화하여, 질량 변화나 추진 효율성 변화와 같은 모델링되지 않은 동역학에 실시간으로 적응할 수 있다.
• 에이전트는 엔진 추진력, 질량, 중력장 등 다양한 랜덤화된 시스템 파라미터 분포에서 훈련되어 다양한 MDP에서의 적응 전략을 메타학습할 수 있다.
• 관측은 도플러 레이더 고도계 출력과 같은 부분 상태 정보만 포함하므로, 순환 네트워크가 불완전한 측정치로부터 전체 상태 동역학을 추론해야 한다.
• 순환 아키텍처는 정책가 메타학습의 한 형태로 기능할 수 있게 하여, 배포 중에 새로운 동역학 시스템에 신속하게 적응할 수 있다.
• 성능 평가는 네 가지 과제에서 평가된다: 관측되지 않은 동역학이 있는 소행성 착륙, 노이즈가 있는 레이더를 사용한 화성 착륙, 엔진 고장, 착륙 중 대량의 질량 변화.

실험 결과

연구 질문

• RQ1 강화 학습 프레임워크 내의 순환 정책이 실시간 배포 중에 알 수 없고 급격히 변화하는 우주선 동역학에 효과적으로 적응할 수 있는가?
• RQ2 비순환(MLP) 정책과 전통적인 DR/DV 유도 법칙에 비해 순환 정책은 엔진 고장이나 질량 변화와 같은 시스템 불확실성을 어떻게 다루는가?
• RQ3 도플러 레이더 반환값과 같은 부분 관측치로부터 관측되지 않은 시스템 상태(예: 질량, 외부 힘)를 순환 정책이 어느 정도 추론할 수 있는가?
• RQ4 랜덤화된 시스템 파라미터로 훈련하면 다양한 복잡한 임무 시나리오에 일반화되는 강건한 메타학습 정책을 얻을 수 있는가?
• RQ5 순환 정책은 환경 동역학이 알 수 없는 고위험 시나리오(예: 알 수 없는 환경 동역학이 있는 화성 착륙)에서 안전하고 연료 효율적인 착륙을 달성할 수 있는가?

주요 결과

• 60단계 순환 정책는 엔진 고장이 있는 화성 착륙 과제에서 안전 착륙을 달성했으며, 종단 위치 오차는 0.3 m (μ), 속도는 1.00 m/s (μ), 연료 소비는 295 kg (μ)였고, DR/DV 정책 및 MLP 기준선보다 뛰어난 성능을 보였다.
• 대량의 질량 변화가 있는 상황에서는 60단계 순환 정책가 종단 위치 오차 0.6 m (μ), 속도 1.06 m/s (μ), 연료 소비 1227 kg (μ)를 기록하여, 대량의 질량 변화가 있음에도 불구하고 안전하고 효율적인 착륙을 달성했다.
• DR/DV 정책는 엔진 고장 및 대량 질량 변화 과제에서 모두 참패했으며, 종단 위치 오차가 100 m를 초과하고 안전하지 않은 종단 속도가 20 m/s 이상이었다.
• 20단계 순환 정책는 엔진 고장 과제에서 최고의 성능을 기록했으며, 종단 속도는 0.99 m/s (μ), 글라이드스코프는 49.99°였고, 안정적이고 정밀한 착륙을 나타냈다.
• 질량과 추진력 변화와 같은 관측되지 않은 동역학에 실시간으로 적응할 수 있는 순환 정책의 능력이 핵심이었으며, 지속적인 기억이 없는 MLP 정책는 높은 불확실성 하에서 성능을 따라잡지 못했다.
• 순환 정책는 도플러 레이더 고도계 반환값만을 사용하여 성공적으로 유도를 수행했으며, 전체 상태 피드백이 필요 없이 통합된 유도 및 항법을 수행함을 보여주었다.