[논문 리뷰] Learning the Dependence Graph of Time Series with Latent Factors

Ali Jalali, Sujay Sanghavi|arXiv (Cornell University)|2011. 06. 09.

Complex Systems and Time Series Analysis참고 문헌 47인용 수 32

한 줄 요약

이 논문은 잠재 변수가 존재하는 경우에도 관측된 시계열 변수 간의 종속 구조를 학습하기 위한 볼록 최적화 방법을 제안한다. 잠재 요인의 저랭크 구조와 관측된 종속성의 흩어진 성질을 활용하여, 고차원 스케일링 하에서 진정한 종속성 그래프를 높은 확률로 복원하며, 잠재 변수 수가 관측 변수 수보다 작은 경우에 대한 구조 복원에 대한 이론적 보장을 수립한다.

ABSTRACT

This paper considers the problem of learning, from samples, the dependency structure of a system of linear stochastic differential equations, when some of the variables are latent. In particular, we observe the time evolution of some variables, and never observe other variables; from this, we would like to find the dependency structure between the observed variables - separating out the spurious interactions caused by the (marginalizing out of the) latent variables' time series. We develop a new method, based on convex optimization, to do so in the case when the number of latent variables is smaller than the number of observed ones. For the case when the dependency structure between the observed variables is sparse, we theoretically establish a high-dimensional scaling result for structure recovery. We verify our theoretical result with both synthetic and real data (from the stock market).

연구 동기 및 목표

• 일부 변수가 잠재적이며 관측되지 않을 때 시계열의 종속 구조를 학습하는 데 도전하는 것.
• 관측 변수에서 잠재 시계열을 통합함으로써 유발되는 오락성 상호작용을 분리하는 것.
• 잠재 공변인자 존재하더라도 관측 변수 간의 진정한 종속성 그래프를 복원하는 볼록 최적화 기반 방법을 개발하는 것.
• 잠재 변수 수가 관측 변수 수보다 작은 고차원 설정에서의 구조 복원에 대한 이론적 보장을 수립하는 것.
• 합성 데이터와 실제 주식 시장 데이터를 통해 방법의 탄력성과 정확성을 검증하는 것.

제안 방법

• 방법은 잠재 변수와 관측 변수를 포함하는 선형 스토케스틱 미분 방정식으로 시스템을 모델링하며, 잠재 요인이 공분산 구조에 저랭크 성분을 유도한다고 가정한다.
• 구조 학습 문제를 흩어진 성분과 저랭크 성분의 합으로 분해하는 문제로 설정하며, 관측된 공분산 행렬을 진정한 종속성의 흩어진 성분과 잠재 효과의 저랭크 성분으로 분해한다.
• 핵노름과 l1-노름 펜alties를 갖는 정규화된 최소제곱 문제를 푸는 볼록 최적화 프로그램을 사용하여 흩어진 성분을 추정한다.
• 시계열 샘플이 상관관계가 있음을 고려하여, 종속된 관측치에 특화된 농도 부등식을 활용하여 추정 오차를 제한한다.
• 공분산 행렬의 추정 오차의 무한노름을 제어함으로써 일致성을 확보하며, 이는 정확한 구조 복원으로 이어진다.
• 이론적 분석은 안정성 조건과 스펙트럼 경계를 사용하여 추정된 종속성 그래프에 대한 고확률 오차 경계를 유도한다.

실험 결과

연구 질문

• RQ1 잠재 변수가 존재하고 관측되지 않을 때, 관측된 시계열 변수 간의 진정한 종속 구조를 정확하게 복원할 수 있는가?
• RQ2 잠재 요소의 존재가 관측된 공분산 구조에 어떻게 영향을 미치며, 기존 학습 방법에서 오염된 종속성으로 이어지는가?
• RQ3 잠재 요소가 존재하는 상황에서 일관된 구조 복원을 달성하기 위해 최소한의 샘플 크기와 샘플링 주파수가 필요한가?
• RQ4 어떤 조건에서 볼록 최적화 접근이 흩어진 종속 구조와 저랭크 잠재 성분을 성공적으로 분리할 수 있는가?
• RQ5 잠재 변수 수가 관측 변수 수보다 작은 고차원 설정에서 이 방법은 어떻게 스케일링되는가?

주요 결과

• 잠재 변수 수가 관측 변수 수보다 작은 경우, 이 방법은 관측 변수 간의 진정한 종속성 그래프를 고확률로 복원한다.
• 이론적 분석은 고차원 스케일링 결과를 도출한다: 샘플 복잡도가 $ n\eta \geq \frac{3 \times 10^6 (\mathcal{D}_{\max} + 2\mathcal{C}_{\min})}{D^2 (\mathcal{D}_{\max} + \mathcal{C}_{\min})} \log\left(\frac{4((s+2r)p + r^2)}{\delta}\right) $ 를 만족할 경우 일관된 구조 복원이 가능하다.
• 공분산 행렬의 추정 오차는 무한노름으로 제한되어 있어, 흩어진 구조가 신뢰성 있게 복원됨을 보장한다.
• 이 방법은 잠재 공변인자를 고려하지 못하고 조밀한 오염된 종속성을 생성하는 표준 최대우도 추정기보다 뛰어난 성능을 보인다.
• 합성 데이터에 대한 수치 실험은 이론적 오차 경계를 확인하고, 다양한 수준의 잠재 영향 하에서도 정확한 구조 복원을 보여준다.
• 실제 주식 시장 데이터에 대한 실증 검증은 방법이 의미 있는 종속성 구조를 성공적으로 식별하고, 관측되지 않은 시장 요인에 의해 유도된 오염된 상관관계를 걸러내는 데 성공함을 보여준다.