[논문 리뷰] Real-time optimal control via Deep Neural Networks: study on landing problems

Carlos Sánchez‐Sánchez, Dario Izzo|arXiv (Cornell University)|2016. 10. 27.

Spacecraft Dynamics and Control인용 수 7

한 줄 요약

이 논문은 결정론적이고 연속시간이며 비선형 항공우주 시스템에서 정밀한 행 星 착륙을 위한 실시간 최적 제어 정책을 학습하기 위해 딥 신경망(DNNs)을 사용하는 것을 제안한다. 간접 사 Shoot 방법을 통해 생성된 최적 상태-행동 쌍을 이용해 지도 학습으로 훈련된 DNN은 훈련 데이터를 초월해 잘 일반화되어, 질량 변화와 추진력 제약 조건 하에서도 최소한의 계산 비용으로 차량 내 실시간 제어를 가능하게 하며 높은 최적성 확보한다.

ABSTRACT

Recent research on deep learning, a set of machine learning techniques able to learn deep architectures, has shown how robotic perception and action greatly benefits from these techniques. In terms of spacecraft navigation and control system, this suggests that deep architectures may be considered now to drive all or part of the on-board decision making system. In this paper this claim is investigated in more detail training deep artificial neural networks to represent the optimal control action during a pinpoint landing, assuming perfect state information. It is found to be possible to train deep networks for this purpose and that the resulting landings, driven by the trained networks, are close to simulated optimal ones. These results allow for the design of an on-board real time optimal control system able to cope with large sets of possible initial states while still producing an optimal response.

연구 동기 및 목표

• 딥 신경망이 결정론적이고 연속시간이며 비선형 시스템에서 정밀한 행 星 착륙을 위한 최적 상태 피드백 제어 정책을 효과적으로 근사할 수 있는지 조사하기 위해.
• 계산 비용이 높은 최적 제어 솔버를 가벼운 훈련된 DNN으로 대체하여 차량 내 실시간 제어를 가능하게 하기 위해.
• 훈련 분포 외의 초기 조건에 대해 DNN의 일반화 능력을 평가하여 비정상적인 시나리오에 대한 강건성을 확보하기 위해.
• 여러 우주선 모델을 대상으로 DNN 기반 궤도의 성능과 최적성은 시뮬레이션된 최적 해와 비교하여 평가하기 위해.
• DNN이 시스템 역학을 암묵적으로 학습하여 착륙 후 안정적인 허브링과 장기적인 목표 유지가 가능한지 탐색하기 위해.

제안 방법

• 최적 제어를 위한 간접 사 Shoot 방법을 통해 생성된 최적 상태-행동 쌍을 사용하여 지도 학습 방식으로 딥 피드포워드 신경망을 훈련한다.
• 완벽한 상태 정보를 DNN의 입력으로 사용하고, 제어 행동(예: 추진력, 피치)을 출력으로 하며, 정의된 상태 공간 영역 $\mathcal{A}$ 내 다양한 초기 조건에서 훈련한다.
• 다양한 아키텍처를 사용하여 네 가지 모델에 적용: 퀴드코pter, 제한된 추진력이 있는 질량 변화가 가능한 우주선, 반동 휠 제어 우주선, 추진력 방향 제어 로켓.
• 사전에 데이터셋 기반 최적 궤도를 사용해 네트워크를 오프라인으로 훈련한 후, 저비용 계산 부하로 실시간 추론을 위해 차량 내에 배포한다.
• 일반화 능력을 평가하기 위해 $\mathcal{A}$를 초월한 초기 조건에서 테스트를 수행하며, 훈련 중에 관측되지 않은 상향 추진력 요구 조건도 포함한다.
• 착륙 후 장기적 행동을 분석하여 DNN이 동적 보정(예: 질량 감소에 따른 추진력 감소)을 학습하여 안정적인 허브링을 가능하게 하는지 평가한다.

실험 결과

연구 질문

• RQ1 완벽한 상태 관측 조건 하에서 딥 신경망은 연속시간이며 비선형이고 결정론적인 항공우주 시스템의 최적 제어 정책을 정확하게 근사할 수 있는가?
• RQ2 DNN은 질량 변화나 자세 제어와 같은 복잡한 역학을 포함한 초기 조건이 훈련 분포 외부에 있을 경우 얼마나 잘 일반화되는가?
• RQ3 DNN은 기저의 해밀턴-자코비-벨만(HJB) 해 구조를 암묵적으로 학습하여 훈련 영역 외부에서도 안정적이고 최적의 행동을 보일 수 있는가?
• RQ4 깊이가 깊은 네트워크는 얕은 네트워크에 비해 학습된 제어 정책의 품질에 어떤 영향을 미치는가?
• RQ5 연료 소모로 질량이 감소함에 따라 DNN이 목표에 도달한 후에도 안정적인 허브링을 유지할 수 있는가? 이는 시스템 역학을 암묵적으로 학습했음을 시사한다.

주요 결과

• 모든 네 가지 테스트 모델—쿼드코프터, 제한된 추진력이 있는 질량 변화가 가능한 우주선, 반동 휠 제어 우주선, 추진력 방향 제어 로켓—에 대해 DNN은 높은 정확도와 거의 최적의 성능을 달성하는 최적 제어 정책을 성공적으로 학습했다.
• 쿼드코프터 모델의 경우 훈련 영역 $\mathcal{A}$ 내에서 100% 성공률를 기록했으며, 최종 비용 함수 최적성 오차는 1.82%였고, 확장된 영역 $\mathcal{A}_1$ 및 $\mathcal{A}_2$ 에서도 높은 성능(84.4% 성공률)을 유지했다.
• 반동 휠 우주선 모델(RWSC-MOC)은 강건한 일반화 성능를 보였으며, $\mathcal{A}_1$ 에서는 57.9% 성공률, $\mathcal{A}_2$ 에서는 34.9% 성공률였고, 평균 목표까지의 거리는 각각 9.34 m와 9.48 m였으며, 최적성 오차는 각각 1.13%와 0.86%였다.
• 단순 우주선(SSC-MOC)은 $\mathcal{A}_1$ 에서 88.8% 성공률, $\mathcal{A}_2$ 에서는 57.8% 성공률를 기록했지만, 평균 목표까지의 거리가 크기(각각 27.71 m와 521.44 m)로 인해 일부 치명적인 실패가 발생했다.
• 놀랍게도 DNN 기반 궤도는 목표에 도달한 후에도 장기간에 걸쳐 안정적인 허브링 행동를 보였으며, 질량 감소에 따라 자동으로 추진력이 감소하는 것을 보여, 시스템 역학을 암묵적으로 학습했음을 시사했다.
• DNN의 깊이가 핵심 요소였다: 얕은 네트워크는 복잡한 최적 제어 정책의 구조를 포착하지 못했지만, 더 깊은 아키텍처는 훨씬 더 나은 성능과 일반화 능력을 달성했다.