[논문 리뷰] On the stability analysis of optimal state feedbacks as represented by deep neural models.

Dario Izzo, Dharmesh Tailor외 1명|arXiv (Cornell University)|2018. 12. 06.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

이 논문은 심층 신경망 기반 제어 시스템, 특히 가이던스 및 제어 네트워크(G&CNETs)의 안정성에 대한 형식적 검증을 위해 미분 대수학과 자동 미분을 활용하는 새로운 방법론을 제안한다. 이는 펌진 및 시간 지연에 대한 강건성에 대한 이론적 보장을 가능하게 하여, 몬테카를로 검증으로는 충분하지 않은 안전이 핵심적인 항공우주 및 자동차 분야에서의 잠재적 격차를 메운다.

ABSTRACT

Research has shown how the optimal feedback control of several non linear systems of interest in aerospace applications can be represented by deep neural architectures and trained using techniques including imitation learning, reinforcement learning and evolutionary algorithms. Such deep architectures are here also referred to as Guidance and Control Networks, or G&CNETs. It is difficult to provide theoretical proofs on the control stability of such neural control architectures in general, and G&CNETs in particular, to perturbations, time delays or model uncertainties or to compute stability margins and trace them back to the network training process or to its architecture. In most cases the analysis of the trained network is performed via Monte Carlo experiments and practitioners renounce to any formal guarantee. This lack of validation naturally leads to scepticism especially in cases where safety and validation are of paramount importance such as is the case, for example, in the automotive or space industry. In an attempt to narrow the gap between deep learning research and control theory, we propose a new methodology based on differential algebra and automated differentiation to obtain formal guarantees on the behaviour of neural based control systems.

연구 동기 및 목표

• 항공우주 및 자동차 공학과 같은 안전이 핵심적인 분야에서 심층 신경망 기반 제어 시스템에 대한 형식적 안정성 보장의 부족을 해결한다.
• 몬테카를로 시뮬레이션과 같은 경험적 검증 방식의 한계를 극복하여, 이론적 강건성 보장을 제공하지 못하는 문제를 해결한다.
• 심층 학습 연구와 제어 이론 사이의 격차를 해소하기 위해 신경 제어 아키텍처의 형식적 분석을 가능하게 한다.
• G&CNETs의 안정성 마진을 네트워크 아키텍처와 학습 과정으로 되돌아가 추적할 수 있도록 한다.
• 학습된 최적 피드백 제어기에서의 펌진, 시간 지연 및 모델 불확실성에 대한 강건성 평가를 체계적으로 수행할 수 있는 프레임워크를 제공한다.

제안 방법

• 심층 신경망 기반 제어기의 동역학을 기호 표현으로 모델링하기 위해 미분 대수학 기법을 적용한다.
• 상태 및 시간에 대한 신경 제어 정책의 정확한 미분계수와 야코비안을 계산하기 위해 자동 미분을 사용한다.
• G&CNET 아키텍처의 기호적 도함수를 바탕으로 리아푸노프 유사 분석을 활용해 안정성 조건을 수립한다.
• 기호 모델을 제어이론적 안정성 기준과 통합하여 강건성 마진에 대한 형식적 경계를 도출한다.
• 민감도 분 析를 통해 안정성 특성을 아키텍처 하이퍼파rameter와 학습 데이터 분포로 되돌아가 추적한다.
• 비선형 항공우주 제어 문제의 대표 사례에 프레임워크를 검증하여 타당성과 정확성을 입증한다.

실험 결과

연구 질문

• RQ1 몬테카를로 시뮬레이션에 의존하지 않고도 심층 신경망 기반 최적 피드백 제어기의 형식적 안정성 보장을 도출할 수 있는가?
• RQ2 미분 대수학과 자동 미분은 G&CNETs의 펌진 및 시간 지연에 대한 강건성 분석에 어떻게 활용될 수 있는가?
• RQ3 G&CNETs의 아키텍처와 학습 과정으로 되돌아가 안정성 마진을 어느 정도 추적할 수 있는가?
• RQ4 비선형 항공우주 적용 분야에서 심층 학습 기반 제어 시스템의 강건성에 대해 이론적 경계를 설정하는 것이 가능한가?
• RQ5 순수 경험이나 실험적 검증 기법에 비해 제안된 방법은 신뢰성과 통찰력 면에서 어떻게 비교되는가?

주요 결과

• 제안된 방법론은 심층 신경망 기반 제어 시스템의 안정성에 대한 형식적 검증을 가능하게 하여, 경험적 몬테카를로 테스트에 대한 의존도를 해소한다.
• 미분 대수학과 자동 미분을 통해 시스템 민감도를 정확하게 계산할 수 있으며, 이는 안정성 조건 도출에 필수적이다.
• 안정성 마진을 아키텍처 및 학습 파rameter와 분석적으로 연결할 수 있어 네트워크 설계의 체계적 개선이 가능하다.
• 프레임워크는 비선형 시스템에서 시간 지연 및 모델 불확실성에 대한 강건성 평가를 체계적으로 수행할 수 있도록 한다.
• 이 방법은 실제 항공우주 제어 문제에 적용 가능하며, 학습된 제어 정책의 인증 가능성을 제시한다.
• 대표적인 비선형 제어 시나리오에서의 타당성은 안전이 핵심인 개발 파이프라인에의 통합 가능성을 시사한다.