[논문 리뷰] Design of Deep Neural Networks as Add-on Blocks for Improving Impromptu Trajectory Tracking

Siqi Zhou, Mohamed K. Helwa외 1명|arXiv (Cornell University)|2017. 05. 31.

Iterative Learning Control Systems참고 문헌 21인용 수 6

한 줄 요약

이 논문은 실시간으로 기준 신호를 보정하기 위해 딥 뉴럴 네트워크(DNN)를 사전 연결하여 즉흥적 궤적 추적 성능을 향상시키는 DNN 강화 제어 아키텍처를 제안한다. 기준 시스템의 정 steady-state 오차가 0이 되는 조건과 특성 선택을 위한 이론적 통찰을 도출함으로써, 이전 연구 대비 입력 특성 수를 1/3 감소시키면서도 평균 RMS 추적 오차를 45.2% 감소시켰다.

ABSTRACT

This paper introduces deep neural networks (DNNs) as add-on blocks to baseline feedback control systems to enhance tracking performance of arbitrary desired trajectories. The DNNs are trained to adapt the reference signals to the feedback control loop. The goal is to achieve a unity map between the desired and the actual outputs. In previous work, the efficacy of this approach was demonstrated on quadrotors; on 30 unseen test trajectories, the proposed DNN approach achieved an average impromptu tracking error reduction of 43% as compared to the baseline feedback controller. Motivated by these results, this work aims to provide platform-independent design guidelines for the proposed DNN-enhanced control architecture. In particular, we provide specific guidelines for the DNN feature selection, derive conditions for when the proposed approach is effective, and show in which cases the training efficiency can be further increased.

연구 동기 및 목표

• 딥 뉴럴 네트워크(DNN)를 기본 피드백 제어기의 추가 모듈로 통합하여 궤적 추적 성능을 향상시키기 위한 플랫폼 독립적 설계 지침을 개발하기 위해.
• DNN 강화 제어 아키텍처가 효과를 발휘하는 조건을 규명하기 위해, 특히 기준 시스템의 단계 입력에 대한 정 steady-state 응답에 초점을 맞추기 위해.
• 시험·오차 기반 특성 선택 대신 이론적 통찰을 활용하여 성능을 저하시키지 않은 채 DNN 모듈의 입력 차원을 감소시키기 위해.
• 기본 시스템이 영구적 오차가 0이 되는 조건을 만족할 경우에만 적용 가능한 조건을 충족시키는 차이 학습 기법을 적용하여 학습 효율성을 향상시키기 위해.
• 다양한 로봇 플랫폼과 제어 시스템에 적용 가능한 일반화된 DNN 강화 제어 접근 방식의 수식적 정의를 제공하기 위해.

제안 방법

• DNN은 기본 피드백 제어 시스템에서 일련의 기준 궤적을 실행하여 수집한 데이터를 오프라인으로 학습한다.
• DNN은 상대 차수 분석에 기반하여 선택된 향후 기준 궤적 도함수(예: 위치, 속도의 시간적 변화)와 현재 시스템 상태(예: 자세, 각속도)의 조합을 입력으로 받는다.
• 학습 안정성과 수렴성을 향상시키기 위해 향후 및 현재 기준 값 간의 차이를 DNN 입력에 적용하는 차이 학습 기법을 적용한다.
• DNN은 기본 시스템의 역역학을 근사하도록 학습되어, 추적 오차를 최소화하는 보정된 기준 신호를 효과적으로 생성한다.
• 이론적 분석을 통해 DNN 모듈이 기본 시스템의 역출력 방정식과 연결되며, 효과성 조건을 도출할 수 있다.
• 모의 실험과 큐드로터 플랫폼에서의 실험을 통해 기존 기본 제어기 및 이전 DNN 설계와의 성능 비교를 통해 접근 방식을 검증한다.

실험 결과

연구 질문

• RQ1 DNN 강화 제어 아키텍처는 즉흥적 궤적 추적에 있어 어떤 조건에서 효과를 발휘하는가?
• RQ2 DNN 입력 특성을 체계적으로 선택하여 차원을 감소시키면서도 추적 성능을 유지할 수 있는 방법은 무엇인가?
• RQ3 기본 시스템의 단계 입력에 대한 정 steady-state 응답은 차이 학습 기법의 성공에 어떤 역할을 하는가?
• RQ4 DNN 기반 기준 보정 접근 방식은 재학습 없이 다양한 로봇 플랫폼으로 일반화될 수 있는가?
• RQ5 제안된 방법은 이전의 시험·오차 기반 DNN 설계에 비해 성능과 학습 효율성 측면에서 어떻게 비교되는가?

주요 결과

• DNN 강화 제어 아키텍처는 5개의 미리보지 않은 테스트 궤적에서 평균 RMS 추적 오차를 45.2% 감소시켰으며, 이는 이전의 36개 입력을 사용한 DNN와 동일한 성능를 달성하였다.
• 상대 차수 분석과 시스템 역학을 기반으로 한 제안된 특성 선택 방법은 DNN 입력 차원을 67% 감소시켰지만, 동일한 추적 성능를 유지하였다.
• 차이 학습 기법은 기본 시스템이 단계 입력에 대해 정 steady-state 오차가 0인 경우에만 효과적이며, 이 경우에만 편향을 보완할 수 있다.
• 이론적 분석을 통해 DNN 모듈이 기본 시스템의 역역학을 근사하고 있음을 확인하였으며, 이는 추적 오차를 최소화하는 데 효과적인 이유를 설명한다.
• 안정적인 영점 동역학을 갖지 않는 시스템에서는 이 접근 방식이 효과적이지 않으며, 이는 역역학이 비최소단계이며 불안정해지기 때문이다.
• 실험 결과, 입력 특성 수가 감소한 DNN가 z방향에서 더 나은 지연 보상 성능를 보였으며, 제어 명령의 시간적 정렬이 향상됨을 시사한다.