[논문 리뷰] A Finite-Sample Deviation Bound for Stable Autoregressive Processes

Rodrigo A. González, Cristian R. Rojas|arXiv (Cornell University)|2019. 12. 17.

Statistical Methods and Inference참고 문헌 19인용 수 4

한 줄 요약

이 논문은 행렬 노름과 농도 불등식을 사용하여 안정적인 순차적 회귀 과정(order $ n $)에 대해 유한 표본 이탈 bound를 유도한다. 이는 표본 공분산이 그 모집단 대응항과 얼마나 다를 수 있는지를 정량화한다. 주요 기여는 표본 크기 $ N $, 시스템 차원 $ n $, 잡음 분산 $ \sigma^2 $ 에 대해 유리하게 스케일링되는 추정 오차에 대한 고확률 bound를 제공하는 것이다. 이는 모델 안정성과 설계 행렬의 구조에 명시적인 의존성을 포함한다.

ABSTRACT

In this paper, we study non-asymptotic deviation bounds of the least squares estimator in Gaussian AR($n$) processes. By relying on martingale concentration inequalities and a tail-bound for $χ^2$ distributed variables, we provide a concentration bound for the sample covariance matrix of the process output. With this, we present a problem-dependent finite-time bound on the deviation probability of any fixed linear combination of the estimated parameters of the AR$(n)$ process. We discuss extensions and limitations of our approach.

연구 동기 및 목표

• 안정적인 순차적 회귀 과정에서 표본 공분산 행렬이 그 모집단 대응항과 얼마나 다를 수 있는지를 비점근적 확률적 bound로 설정하기.
• 일반적인 잡음과 안정성 조건 하에서 AR(n) 모델의 유한 표본 추정 오차를 정량화하기.
• 모델 매개변수와 표본 크기를 고려하여 경험 공분산이 진짜 공분산에서 벗어나지 않는 고확률 상한선을 도출하기.
• 모델 안정성, 잡음 분산, 표본 크기가 순차적 회귀 추정기의 유한 표본 성능에 미치는 영향을 분석하기.
• 설계 행렬의 구조와 순차적 회귀 계수 행렬의 스펙트럼 성질을 고려한 엄밀한 비점근적 이탈 bound를 제공하기.

제안 방법

• 장기 공분산 행렬 $ \overline{V} = \sigma^2 \sum_{i=0}^\infty A^i B B^\top (A^\top)^i $ 을 정의하여 과정의 점근적 공분산을 나타내기.
• 표본 크기 $ N $ 과 관련된 $ \epsilon \sigma^2 \sum_{i=0}^\infty A^i (A^\top)^i $ 를 스케일링 인자로 사용하여 $ \overline{V} $ 의 변형을 통해 하한 및 상한 이탈 봉우리 $ V_{\text{dn}} $ 과 $ V_{\text{up}} $ 을 구성하기.
• 서브가우시안 및 서브지수 과정에 대한 농도 불등식에서 유도된 네 개의 지수항을 조합하여 이탈 확률 bound $ \delta(\epsilon, N) $ 을 도입하기.
• 전체 상태공간 공분산에서 관련 공분산 부분행렬을 추출하기 위해 $ \begin{bmatrix} I_n & 0 \end{bmatrix} $ 를 통한 행렬 투영을 사용하기.
• 행렬 노름과 고유값 반경 분석을 통해 이탈 항의 성장률을 제어하여 모델 가정 하에서 안정성을 확보하기.
• 서브가우시안 및 서브지수 농도 불등식의 尾 확률 bound 를 조합하여 큰 이탈 발생 확률에 대한 복합 bound 유도하기.

실험 결과

연구 질문

• RQ1 AR(n) 과정에서 표본 공분산 행렬의 추정 오차는 유한 표본에서 어떻게 행동하는가?
• RQ2 모델 안정성과 서브가우시안 잡음 하에서 경험 공분산이 진짜 공분산으로 수렴하는 속도는 어떠한가?
• RQ3 모델 매개변수, 즉 계수 행렬 $ A $, 잡음 분산 $ \sigma^2 $, 표본 크기 $ N $ 가 이탈 확률에 어떻게 영향을 미치는가?
• RQ4 모델의 스펙트럼 성질에 민감하고 비점근적이며 고확률 이탈 bound 를 도출할 수 있는가?
• RQ5 이탈 bound 의 신뢰 수준을 제어하는 데에 편차 매개변수 $ \epsilon $ 의 역할은 무엇인가?

주요 결과

• 이탈 확률 $ \delta(\epsilon, N) $ 는 $ N - n $ 에 대해 지수적으로 감소하며, 큰 표본에서 표본 공분산이 진짜 값 주변에 강하게 집중되어 있음을 나타낸다.
• $ \delta(\epsilon, N) $ 의 bound 는 네 개의 항을 포함한다: 하나는 서브가우시안 농도에서 유도된 항, 하나는 서브지수 尾 행동에서 유도된 항, 하나는 계수 벡터 $ \theta $ 의 $ \ell^2 $-노름에서 유도된 항, 하나는 $ \sqrt{N} $ 스케일링된 지수 감소 항.
• 상한 및 하한 bound $ V_{\text{up}} $ 과 $ V_{\text{dn}} $ 는 경험 공분산이 진짜 공분산에서 벗어날 수 있는 범위를 $ (N - n) $ 으로 스케일링하여 포괄하도록 구성되어 있다.
• AR 과정이 안정적이라는 가정 하에서, $ \overline{V} $ 에서의 무한급수 수렴을 보장함으로써 이 bound 는 유효하다.
• 이 이탈 bound 는 비점근적이며 $ \mathbb{E}\{y_1^2\} $, $ \|\theta\|_2 $, 그리고 잡음 분산 $ \sigma^2 $ 에 명시적으로 의존한다. 이는 모델 및 데이터 특성을 반영한다.
• 결과적으로 이는 모델 안정성과 표본 크기에 명시적인 의존성을 포함하는 AR(n) 과정의 공분산 행렬에 대한 유한 표본 신뢰 영역을 제공한다.