[논문 리뷰] Active Learning for Nonlinear System Identification with Guarantees

Horia Mania, Michael I. Jordan외 1명|arXiv (Cornell University)|2020. 06. 18.

Control Systems and Identification참고 문헌 54인용 수 29

한 줄 요약

이 논문은 알려진 특징 임bedding를 가진 비선형 동적 시스템을 식별하기 위한 액티브 러닝 방법을 제안한다. 반복적인 궤적 계획, 추적 및 재추정을 통해 매개변수 추정 속도를 달성하며, i.i.d. 입력이 실패할 경우에도 특징 공간의 모든 방향을 탐색하는 적응형 입력 선택을 통해 유한 시간 내 식별을 보장한다.

ABSTRACT

While the identification of nonlinear dynamical systems is a fundamental building block of model-based reinforcement learning and feedback control, its sample complexity is only understood for systems that either have discrete states and actions or for systems that can be identified from data generated by i.i.d. random inputs. Nonetheless, many interesting dynamical systems have continuous states and actions and can only be identified through a judicious choice of inputs. Motivated by practical settings, we study a class of nonlinear dynamical systems whose state transitions depend linearly on a known feature embedding of state-action pairs. To estimate such systems in finite time identification methods must explore all directions in feature space. We propose an active learning approach that achieves this by repeating three steps: trajectory planning, trajectory tracking, and re-estimation of the system from all available data. We show that our method estimates nonlinear dynamical systems at a parametric rate, similar to the statistical rate of standard linear regression.

연구 동기 및 목표

• i.i.d. 입력이 정보성 데이터를 제공하지 못할 때 연속 상태와 동작을 가진 비선형 동적 시스템을 식별하는 데 도전하는 것.
• 전이가 알려진 특징 매핑에 선형적으로 의존하는 시스템에 대해, 유한 시간 내 시스템 식별을 보장하는 데이터 수집 체계를 개발하는 것.
• 적응형 피드백 기반 입력 선택 하에 추정 정확도에 대한 이론적 보장을 수립하는 것.
• i.i.d. 입력 가정을 초월해 활동적인 탐색이 필요한 시스템으로까지 시스템 식별의 적용 범위를 확장하는 것.
• 반복적 계획과 추적을 통해 특징 공간에서의 완전한 제어 가능성(컨트롤러블리티)을 보장하는 프레임워크를 제공하는 것.

제안 방법

• 이 방법은 반복적으로 세 단계를 수행한다: 현재 상태에서 특징 공간의 높은 불확실성 영역으로의 궤적 계획, 현재 시스템 행렬 추정치를 사용한 궤적 추적, 및 모든 수집된 데이터로부터의 시스템 행렬 재추정.
• 이 방법은 궤적 계획을 위한 계산 오라클에 의존하며, 제한된 계획 시간 내에 특징 공간의 높은 불확실성 영역에 도달할 수 있음을 보장한다.
• 시스템 모델은 상태 전이가 알려진 특징 매핑에 대해 선형이라고 가정한다: $\mathbf{x}_{t+1} = A_\star \phi(\mathbf{x}_t, \mathbf{u}_t) + \mathbf{w}_t$, 여기서 $\phi$ 는 알려져 있고 $A_\star$ 는 추정이 필요한 미지의 시스템 행렬이다.
• 특징 벡터가 특징 공간의 모든 방향을 커버하도록 하기 위해, 미탐색된 방향과의 정렬을 최대화하는 적응형 입력 선택을 통해 실현된다.
• 특징 공간에서의 제어 가능성에 기반하며, 계획 시간과 시스템의 제어 가능성은 정보성 데이터 수집 속도를 결정한다.
• 재추정 단계는 모든 이력 데이터를 사용하여 추정치 $\widehat{A}$ 를 갱신하며, 표준 선형 회귀와 유사한 매개변수 수렴 속도를 달성한다.

실험 결과

연구 질문

• RQ1 i.i.d. 입력이 특징 공간을 전반적으로 탐색하지 못할 경우, 비선형 동적 시스템의 유한 시간 식별을 보장할 수 있는가?
• RQ2 비선형 시스템의 특징 공간에서 모든 방향을 체계적으로 탐색할 수 있는 적응형 입력 시퀀스는 어떻게 설계할 수 있는가?
• RQ3 액티브 러닝 하에서 시스템 식별에 대해 어떤 이론적 보장을 수립할 수 있는가? 특히 추정 속도와 표본 복잡도 측면에서.
• RQ4 특징 공간에서의 시스템 제어 가능성은 식별 알고리즘의 수렴 속도에 어떤 영향을 미치는가?
• RQ5 시스템 동역학이 알려진 특징 매핑에 대해 선형인 경우, 비선형 시스템 식별에서 매개변수 추정 속도를 달성할 수 있는가?

주요 결과

• 제안된 액티브 러닝 방법은 비선형 시스템에 대해서도 표준 선형 회귀의 통계적 속도와 동일한 매개변수 추정 속도를 달성한다.
• i.i.d. 입력 전략의 한계를 극복하기 위해 특징 공간의 전반적인 탐색을 보장하는 적응형 입력 선택을 통해, 이 방법은 무한 시간 내 식별을 보장한다.
• 이론적 분석 결과, 추정 오차는 계획 시간과 특징 공간에서의 시스템 제어 가능성에 따라 감소하는 것으로 나타났다.
• 예제 1에서 보여지듯이, 입력 제약 조건이 있는 조각별 애파인 시스템과 같이 i.i.d. 입력으로는 식별이 어려운 시스템에도 이 방법은 효과적이다.
• 이 방법은 노이즈에 강건하며, 특징 벡터가 특징 공간의 모든 방향과 정렬되도록 보장하여 시스템 행렬 $A_\star$ 의 완전한 복원이 가능하다.
• 진짜 시스템이 모델 클래스 내에 있다는 가정 하에 이론적 보장이 유지되며, 특징 매핑이 가역이거나 전체 공간을 커버할 경우 이 방법은 효과적이다.