[논문 리뷰] Inferring the conditional mean

Gusztáv Morvai, Benjamin Weiss|ArXiv.org|2007. 10. 19.

Time Series Analysis and Forecasting참고 문헌 13인용 수 10

한 줄 요약

이 논문은 정적 시간 시리즈에 대해 조건부 평균 $ E(X_{n+1} \mid X_0, \dots, X_n) $ 을 추정하기 위한 비모수적 알고리즘을 제안하며, 특수하게 선택된 정지 시점 $ \lambda_n $ 에서만 추정치를 샘플링함으로써 거의 확실한 일致성을 달성한다. 핵심 결과는 이러한 정지 시점에서 추정기 $ m_n $ 이 연속성을 가정하지 않더라도 진짜 조건부 기대값으로 거의 확실히 수렴하고, 거의 확실한 연속성이 성립할 경우 전체 조건부 기대값으로 수렴한다는 것이다.

ABSTRACT

Consider a stationary real-valued time series $\{X_n\}_{n=0}^{\infty}$ with a priori unknown distribution. The goal is to estimate the conditional expectation $E(X_{n+1}|X_0,..., X_n)$ based on the observations $(X_0,..., X_n)$ in a pointwise consistent way. It is well known that this is not possible at all values of $n$. We will estimate it along stopping times.

연구 동기 및 목표

• 모든 $ n $ 에 대해 정적 확률과정에서 조건부 평균 $ E(X_{n+1} \mid X_0, \dots, X_n) $ 의 보편적 일致성 점추정의 불가능성을 다루기 위해.
• 기존 알고리즘이 모든 $ n $ 에서 실패하는 한계를 극복하기 위해, 특히 비모수 설정에서의 문제를 해결하기 위해.
• 추정을 정지 시점의 수열 $ \lambda_n $ 으로 제한함으로써 일치 추정 전략을 개발하여 무한히 많은 추정치가 만들어지도록 보장하기 위해.
• 추정기 $ m_n $ 이 진짜 조건부 기대값 $ E(X_{\lambda_n+1} \mid X_0^{\lambda_n}) $ 로 수렴하는 조건을 설정하기 위해, 특히 조건부 평균이 거의 확실하게 연속일 경우를 중심으로 한다.

제안 방법

• 정지 시점 $ \lambda_n $ 을 재귀적으로 정의하여, $ \lambda_{n-1} $ 이후에서 첫 번째로 블록 $ X_{\lambda_{n-1}+1}^{\lambda_{n-1}+t} $ 가 초기 블록 $ X_0^t $ 와 일치하는 순간으로 정의함으로써 패턴의 재현성을 확보한다.
• 실수 관측치를 길이 $ 2^{-k} $ 의 간격으로 나누는 이진 분할 양자화 $[x]^k$ 를 사용하여, $ \mathbb{R} $ 의 포함 관계를 가지는 분할 $ \mathcal{P}_k $ 를 형성한다.
• 추정기 $ m_n = \frac{1}{n} \sum_{j=0}^{n-1} f_j([X_{\lambda_j+1}]^j) $ 를 구성하며, 여기서 $ f_j $ 는 각 양자화 간격에 대해 그 안의 점으로 매핑한다.
• 한쪽 방향 수열에 대한 극한 과정 $ \tilde{X}^{0}_{-\infty} $ 를 $ j \to \infty $ 일 때 $ X_{\lambda_j - n} $ 의 극한으로 정의하여, 점근적 과거 행동을 포착한다.
• 한쪽 방향 수열에 대한 거리 $ d^* $ 를 정의하여, 조건부 기대값 $ e(x^{0}_{-\infty}) = E(X_1 \mid X^{0}_{-\infty} = x^{0}_{-\infty}) $ 의 거의 확실한 연속성을 정의한다.
• 추정기 $ m_n $ 이 $ e(\tilde{X}^{0}_{-\infty}) $ 로 거의 확실히 수렴하고, 연속성이 성립할 경우 $ E(X_{\lambda_n+1} \mid X_0^{\lambda_n}) $ 로 거의 확실히 수렴함을 증명한다.

실험 결과

연구 질문

• RQ1 정적 시간 시리즈에서 모든 $ n $ 에 대해 보편적인 비모수적 추정기로 조건부 평균 $ E(X_{n+1} \mid X_0, \dots, X_n) $ 을 일치적으로 추정할 수 있는가?
• RQ2 모든 $ n $ 에서가 아니라 정지 시점의 수열로 제한된 추정이 이루어질 경우, 조건부 평균 추정에서 거의 확실한 일치성을 달성할 수 있는가?
• RQ3 추정기 $ m_n $ 이 진짜 조건부 기대값 $ E(X_{\lambda_n+1} \mid X_0^{\lambda_n}) $ 로 수렴하는 조건은 무엇인가?
• RQ4 조건부 기대값의 거의 확실한 연속성이 추정기 수렴을 보장하는 데 어떤 역할을 하는가?

주요 결과

• 추정기 $ m_n $ 이 거의 확실히 $ e(\tilde{X}^{0}_{-\infty}) = E(X_1 \mid X^{0}_{-\infty}) $ 로 수렴한다. 이는 무한한 과거를 조건으로 한 조건부 기대값이다.
• 일반적으로 $ |m_n - E(X_{\lambda_n+1} \mid [X_0^{\lambda_n}]^n)| \to 0 $ 이 거의 확실히 성립하며, 이는 양자화된 추정의 일치성을 보여준다.
• 조건부 기대값 $ E(X_1 \mid X^{0}_{-\infty}) $ 가 거리 $ d^* $ 에 대해 거의 확실하게 연속일 경우, $ |m_n - E(X_{\lambda_n+1} \mid X_0^{\lambda_n})| \to 0 $ 이 거의 확실히 성립한다.
• 모수 분포의 $ X_0 $ 가 유한하거나 가чёт한 원소를 가진 경우, 연속성 조건 없이도 추정기 $ m_n $ 이 거의 확실히 $ E(X_{\lambda_n+1} \mid X_0^{\lambda_n}) $ 로 수렴한다.
• 값이 $[0,1]$ 의 가чёт한 부분집합에 속하는 정적이고 에르고딕한 마르코프 체인이 존재하여, $ \limsup_{n \to \infty} |m_n - E(X_{\lambda_n+1} \mid X_0^{\lambda_n})| > 0 $ 이 양의 확률로 성립함을 보여, 연속성 조건이 필수적임을 입증한다.
• 사건 $ \{X_{\lambda_n} \in A_n \setminus \{0\}\} $ 는 양의 확률로 무한히 많이 발생하며, 이는 구성된 조건 하에서 추정기의 거의 확실한 수렴을 뒷받침한다.