[논문 리뷰] On the Sample Complexity of Graphical Model Selection for Non-Stationary Processes

Nguyen Tran, Oleksii Abramenko외 1명|arXiv (Cornell University)|2017. 01. 17.

Control Systems and Identification참고 문헌 51인용 수 3

한 줄 요약

이 논문은 비stationary 시계열 데이터에서 정확한 그래픽 모델 선택(GMS)을 위한 이론적 표본 복잡도를 규명한다. 여기서 표본들은 상관이 없지만 블록 간으로는 다른 공분산 행렬을 가진다. 이웃 회귀 기반 방법을 분석함으로써, 과정의 구성 요소 간 최소 평균 연결 강도에 따라 결정되는 표본 크기의 충분조건을 도출하며, 이는 이전의 i.i.d. 및 stationarity 설정을 일반화한다.

ABSTRACT

We characterize the sample size required for accurate graphical model selection from non-stationary samples. The observed data is modeled as a vector-valued zero-mean Gaussian random process whose samples are uncorrelated but have different covariance matrices. This model contains as special cases the standard setting of i.i.d. samples as well as the case of samples forming a stationary or underspread (non-stationary) processes. More generally, our model applies to any process model for which an efficient decorrelation can be obtained. By analyzing a particular model selection method, we derive a sufficient condition on the required sample size for accurate graphical model selection based on non-stationary data.

연구 동기 및 목표

• 데이터가 비stationary이지만 블록 단위로 i.i.d.일 때 신뢰할 수 있는 그래픽 모델 선택을 위해 필요한 최소 표본 크기를 규명하는 것.
• 이전에 i.i.d. 또는 stationarity 과정에 국한되어 있던 표본 복잡도 이론을 비stationary 과정으로 확장하여, 시간에 따라 변하는 공분산 구조를 가진 과정에 적용하는 것.
• 비stationary 표본 추출 조건 하에서 이웃 회귀 기반 GMS 방법을 분석하며, 계산 효율성보다는 기본적인 표본 크기 한계에 초점을 맞추는 것.
• 필요한 표본 크기가 구성 요소 간 최소 평균 연결 강도의 역수에 비례함을 보여주며, 정밀한 이론적 한계를 제공하는 것.

제안 방법

• 비stationary 데이터를 상관이 없는 블록들로 나누어 각 블록이 서로 다른 공분산 행렬을 가진 벡터 값의 0 평균 가우시안 과정로 모델링한다.
• 원시 시계열을 i.i.d. 표본 블록으로 변환하기 위해 장식화 변환(예: 푸리에 변환)을 적용함으로써 i.i.d. GMS 이론의 적용을 가능하게 한다.
• 모든 나머지 노드를 조건으로 하여 각 노드와 다른 모든 노드 간의 조건부 의존성을 철저히 테스트하는 계산적으로 비가능한 이웃 회귀 방법을 사용한다.
• 블록 간 선형 회귀에서 잔차 제곱합을 기반으로 한 통계량을 정의하여 조건부 독립성을 추정하고 그래프 구조를 유추한다.
• 실제 점수와 보조 점수를 비교하여 이웃의 크기를 추정하는 점수 기반 선택 기준을 활용한다. 여기서 보조 점수는 가짜 i.i.d. 신호를 사용하여 가짜 양성 결과를 통제한다.
• 실제 투르쿠의 보행자 수 계측 데이터를 사용하여 방법을 검증하였으며, DFT 변환된 데이터와 블록 단위 분석을 통해 조건부 독립 그래프(CIG)를 추론하였다.

실험 결과

연구 질문

• RQ1 비stationary 시계열 데이터에서 블록 단위로 공분산이 변하는 경우, 그래픽 모델 구조를 신뢰성 있게 복원하기 위해 필요한 최소 표본 수는 얼마인가?
• RQ2 기본 그래픽 모델의 구성 요소 간 최소 평균 연결 강도에 따라 필요한 표본 크기는 어떻게 변화하는가?
• RQ3 기존의 i.i.d. GMS 표본 복잡도 결과는 비stationary 과정으로 확장될 수 있는가? 특히 알려진 장식화 변환을 갖는 과정에 대해 가능한가?
• RQ4 비stationary 환경에서 이웃 회귀 기반 GMS의 성능은 블록 구조와 신호 대 잡음 비율 특성에 어떻게 영향을 받는가?
• RQ5 모델 잘못 설정 또는 약한 의존성은 표본 복잡도 요구 조건에 어떤 영향을 미치는가?

주요 결과

• 정확한 그래픽 모델 선택을 위해 필요한 표본 크기는 그래픽 모델 내 구성 요소 간 최소 평균 연결 강도의 제곱에 반비례한다.
• 최소 평균 연결 강도가 충분히 크다면, i.i.d. 설정과 비교해도 동일하거나 더 낫게 표본 크기를 확보할 수 있다.
• 도출된 이론적 표본 복잡도 한계는 계산적으로 비가능한 이웃 회귀 방법에 의해 달성 가능하며, 이는 기본적인 한계를 확립한다.
• 이 방법은 효율적인 장식화 변환을 갖는 비stationary 과정, 예를 들어 stationarity, 순환 stationarity, 또는 국소 stationarity 과정으로 일반화 가능하다.
• 실제 보행자 수 계측 데이터에 대한 실증 검증 결과, 추정된 조건부 독립 그래프는 기저의 도시 도로망 구조와 잘 일치한다.
• 점수 기반 이웃 선택 기준은 가짜 잡음 기반 기준을 사용하여 진정한 의존성을 효과적으로 식별하면서도 가짜 양성 결과를 통제한다.