[논문 리뷰] Single Trajectory Nonparametric Learning of Nonlinear Dynamics

Ingvar Ziemann, Henrik Sandberg외 1명|arXiv (Cornell University)|2022. 02. 16.

Control Systems and Identification인용 수 7

한 줄 요약

이 논문은 비정규 동적 시스템의 단일 관측 경로로부터 비모수적 최소제곱추정(Least Squares Estimation, LSE)에 대해 최적의 오차 경계를 수립한다. 정보이론적 도구와 동적 안정성의 활용을 통해, 메트릭 엔트로피가 $ \delta^{-q} $인 함수 클래스에 대해 LSE가 $ T^{-1/(2+q)} $의 최소최대 최적 속도를 달성함을 보이며, i.i.d. 비모수적 결과를 종속적인 시계열 설정으로 확장한다.

ABSTRACT

Given a single trajectory of a dynamical system, we analyze the performance of the nonparametric least squares estimator (LSE). More precisely, we give nonasymptotic expected $l^2$-distance bounds between the LSE and the true regression function, where expectation is evaluated on a fresh, counterfactual, trajectory. We leverage recently developed information-theoretic methods to establish the optimality of the LSE for nonparametric hypotheses classes in terms of supremum norm metric entropy and a subgaussian parameter. Next, we relate this subgaussian parameter to the stability of the underlying process using notions from dynamical systems theory. When combined, these developments lead to rate-optimal error bounds that scale as $T^{-1/(2+q)}$ for suitably stable processes and hypothesis classes with metric entropy growth of order $δ^{-q}$. Here, $T$ is the length of the observed trajectory, $δ\in \mathbb{R}_+$ is the packing granularity and $q\in (0,2)$ is a complexity term. Finally, we specialize our results to a number of scenarios of practical interest, such as Lipschitz dynamics, generalized linear models, and dynamics described by functions in certain classes of Reproducing Kernel Hilbert Spaces (RKHS).

연구 동기 및 목표

• 비선형 동적 시스템의 단일 경로로부터 학습할 때 비모수적 최소제곱추정기(LSE)의 비점근적 기대 $ L^2 $-오차 경계를 수립하기 위해.
• i.i.d. 설정에서의 최소최대 최적 속도를 일반적인 가설 클래스를 가진 종속적인 시계열 모델로 확장하기 위해.
• 동역학계 이론 도구를 활용해 LSE의 서브가우시안 노이즈 파라미터를 기반 동적 과정의 안정성과 연결하기 위해.
• 안정적인 과정과 메트릭 엔트로피 성장률이 $ \delta^{-q} $, $ q \in (0,2) $인 함수 클래스에 대해 $ T^{-1/(2+q)} $로 척도가 조정된 최적의 오차 경계를 유도하기 위해.
• 리프시츠 역학, 일반화선형모형, 및 재생 커널 힐버트 공간(RKHS)과 같은 실용적 사례에 결과를 특화하기 위해.

제안 방법

• 저자들은 특히 오프셋 복잡도와 서브가우시안 농도를 활용한 정보이론적 방법을 사용하여 LSE의 기대 $ L^2 $-오차를 경계한다.
• 동역학계 이론의 개념을 통해 LSE의 서브가우시안 파라미터를 기반 동적 과정의 안정성과 연결한다.
• 함수 클래스 $ \mathbb{F} $의 메트릭 엔트로피, 특히 $ \log \mathcal{N}(\mathbb{F}, \|\cdot\|_{\infty}, \delta) \asymp \delta^{-q} $를 활용하여 가설 공간의 복잡도를 정량화한다.
• LSE는 $ \hat{f} = \arg\min_{f \in \mathbb{F}} \frac{1}{T} \sum_{t=0}^{T-1} \|y_t - f(x_t)\|_2^2 $로 정의되며, 새로운 반사적 경로에서 성능이 평가된다.
• 저자들은 노이즈 분산 $ \sigma_w^2 $, 공간-시간 확산 지표 $ \sigma_T^2(\mathbb{F}, P_\star) $, 메트릭 엔트로피 성장률 $ q $를 포함한 경계를 유도한다.
• RBF 커널 기반 함수를 사용한 자기회귀 시스템에서의 실험을 통해 이론을 검증하였으며, 로그 스케일에서 $ -1/2 $보다 약간 더 가파른 수렴 속도를 관측하여 근사형상수 속도와 일치함을 확인하였다.

실험 결과

연구 질문

• RQ1 비선형 역학의 단일 경로 학습에서 비모수적 최소제곱추정기(LSE)는 최소최대 최적 속도를 달성할 수 있는가?
• RQ2 기반 동적 과정의 안정성이 LSE의 추정 오차에 어떻게 영향을 미치는가?
• RQ3 LSE 오차는 함수 클래스의 메트릭 엔트로피와 공변수의 시간적 확산에 대해 정확히 어떻게 의존하는가?
• RQ4 이론적 오차 경계는 i.i.d. 설정을 초월하여 종속 관측이 있는 일반적인 시계열 모델로 확장될 수 있는가?
• RQ5 리프시츠 함수, 일반화선형모형, RBF 커널을 가진 RKHS와 같은 특정 함수 클래스에 대해 수렴 속도는 어떠한가?

주요 결과

• 적절한 안정성 조건 하에, 메트릭 엔트로피 성장률이 $ \delta^{-q} $, $ q \in (0,2) $인 함수 클래스에 대해 LSE는 $ T^{-1/(2+q)} $의 최소최대 최적 속도를 달성한다.
• LSE의 서브가우시안 파라미터는 기반 동적 과정의 안정성과 연결되어 있으며, 이는 최적의 경계 유도를 가능하게 한다.
• 리프시츠 역학의 경우, 적절한 정규성 조건 하에 오차 경계는 $ T^{-1/2} $로 스케일링되며, 이는 형상 수렴 속도와 일치한다.
• RBF 커널을 가진 RKHS에 속하는 함수의 경우, 지수적 고유값 감쇠가 반영되어 로그 스케일에서 $ -1/2 $보다 약간 더 가파른 근사형상수 수렴 속도를 보인다.
• 경계는 노이즈 분산 $ \sigma_w^2 $, 공변수의 공간-시간 확산 $ \sigma_T^2(\mathbb{F}, P_\star) $, 그리고 함수 클래스의 메트릭 엔트로피에 의존한다.
• RBF 기반 역학에서의 경험적 검증은 이론적 속도를 확인하였으며, 관측된 수렴 기울기는 약간 $ -1/2 $보다 작았고, 이는 근사형상수 행동과 일치한다.