[논문 리뷰] On the Identifiability of Latent Models for Dependent Data

Stéphane Guerrier, Roberto Molinari|arXiv (Cornell University)|2016. 07. 20.

Statistical Methods and Inference참고 문헌 10인용 수 5

한 줄 요약

이 논문은 자기회귀, 이동평균, 랜덤 워크 과정 등의 기본 성분들의 합으로 정의된 넓은 범위의 두 번째 순서 정상 잠재 시계열 및 공간 모형의 식별 가능성(Identifiability)을 증명한다. 이는 모형 매개수에서 공분산 또는 스펙트럼 밀도 함수로의 사상이 단사함을 입증함으로써 이루어지며, 주요 기여는 MLE, GMM, GMWM 등의 극값 추정기들이 최소한의 정규성 조건 하에서도 일致성을 확보함을 보여주는 것이다. 특히 GMWM 추정기는 유일하게 내재 정상 모형을 다룰 수 있다.

ABSTRACT

The condition of parameter identifiability is essential for the consistency of all estimators and is often challenging to prove. As a consequence, this condition is often assumed for simplicity although this may not be straightforward to assume for a variety of model settings. In this paper we deal with a particular class of models that we refer to as "latent" models which can be defined as models made by the sum of underlying models, such as a variety of linear state-space models for time series. These models are of great importance in many fields, from ecology to engineering, and in this paper we prove the identifiability of a wide class of (second-order stationary) latent time series and spatial models and discuss what this implies for some extremum estimators, thereby reducing the conditions for their consistency to some very basic regularity conditions. Finally, a specific focus is given to the Generalized Method of Wavelet Moments estimator which is also able to estimate intrinsically second-order stationary models.

연구 동기 및 목표

• 의존적 자료에 대한 잠재 모형에서 매개수의 식별 가능성 문제를 해결함으로써, 일반적으로 증명 없이 식별 가능하다고 가정되는 매개수 문제를 해결하고자 한다.
• 표준 ARMA 모형을 초월하여 자기회귀(AR), 이동평균(MA), 랜덤 워크 등 기본 과정들의 합으로 구성된 더 유연한 잠재 구조로 식별 가능성 결과를 확장하고자 한다.
• 공분산 또는 스펙트럼 밀도 함수의 식별 가능성은 MLE, GMM, GMWM 등의 극값 추정기의 일치성으로 이어진다는 것을 입증하고자 한다.
• 일반화된 웨이블릿 모멘트 방법(GMWM) 추정기가 드리프트나 랜덤 워크를 포함한 내재 정상 모형에 적용 가능한지 조사하고자 한다.
• 생태학, 공학, 경제학 등 다양한 분야에서 널리 사용되는 잠재 모형의 식별 가능성에 대한 이론적 기반을 제공함으로써 그 사용를 정당화하고자 한다.

제안 방법

• 잠재 시계열 모형이 (T1)–(T6) 과정들의 합으로 구성된 경우, 매개수에서 공분산 함수 Σ(θ)로의 사상이 단사함을 증명한다.
• 정규성 조건 하에서 매개수에서 스펙트럼 밀도 함수 ν(θ)로의 사상이 단사함을 확립함으로써, 두 번째 순서 구조를 통한 식별 가능성 보장.
• 완전한 열 질량을 확보하기 위한 필수 조건인 단사성과 식별 가능성의 조건을 평가하기 위해 야코비안 행렬 A(θ) = ∂ν(θ)/∂θ 를 활용한다.
• 극값 추정 이론(Newey and McFadden, 1994)을 적용하여, 식별 가능성은 MLE, GMM, GMWM 추정기의 일치성 조건을 줄임으로써 이를 입증한다.
• 공간 모형으로의 결과 확장을 위해, 공간 과정들의 합에 대해 매개수에서 스펙트럼 밀도 함수로의 사상이 단사함을 증명한다. (S1) 및 (S2) 과정들에 대해 적용.
• 두 개의 잠재 모형(식별 가능, 잠재적으로 비식별 가능)에 대해 GMM 및 GMWM 추정기를 사용한 수치 시뮬레이션을 수행하여 이론적 결과의 실증적 검증을 수행한다.

실험 결과

연구 질문

• RQ1 잠재 시계열 모형의 두 번째 순서 구조(공분산 또는 스펙트럼 밀도)로부터 매개수 벡터 θ가 유일하게 복원 가능한 조건은 무엇인가?
• RQ2 자기회귀(AR), 이동평균(MA), 랜덤 워크 등 여러 기본 과정들의 합으로 구성된 잠재 모형의 식별 가능성은 매개수에서 스펙트럼 밀도 함수로의 사상의 단사성에 의해 확립될 수 있는가?
• RQ3 공분산 또는 스펙트럼 밀도 구조를 통한 식별성이 확립되면, MLE 및 GMM 추정기의 일치성 조건은 얼마나 줄어들 수 있는가?
• RQ4 GMWM 추정기는 드리프트나 랜덤 워크를 포함한 비정상적, 내재 정상적 과정을 포함하는 잠재 모형의 매개수를 일관되게 추정할 수 있는가? 그리고 GMM과의 성능 비교는 어떻게 되는가?
• RQ5 예를 들어 AR(1) 과정을 랜덤 워크로 대체할 경우, 구성 과정의 조합에 따라 식별성에 구조적 차이가 존재하는가?

주요 결과

• 두 번째 순서 정상 잠재 시계열 모형이 (T1)–(T6) 과정들의 합으로 구성된 광범위한 클래스에 대해 매개수에서 스펙트럼 밀도 함수 ν(θ)로의 사상이 단사함을 입증하여 식별 가능성을 보장한다.
• (T1), (T2), (T6) 과정들로 구성된 잠재 모형에 대해 야코비안 행렬 A(θ) = ∂ν(θ)/∂θ 가 완전한 열 질량을 가지며, 정규성 조건 하에서 식별 가능성을 확인한다.
• 수치 예제에서 잠재 모형 1((T1), (T2), (T6) 포함)에 대해 GMM 및 GMWM 추정기 모두 표본 크기가 증가함에 따라 MSE가 단조 감소함을 보여 일관성을 확인한다.
• 잠재 모형 2((T2) 대신 (T5)로 대체)의 경우, GMWM의 MSE는 단조 감소하지 않으며, GMM은 하한에 도달함을 보여 잠재적인 비식별성 문제를 시사한다.
• 스펙트럼 밀도 함수의 구조적 유사성으로 인해 (T5) 과정을 포함하는 모형은 식별 가능하지 않을 수 있다는 추측을 지지하는 결과이다.
• GMWM 추정기는 드리프트나 랜덤 워크를 포함한 내재 정상 모형에도 적용 가능함을 입증하여, 엄밀한 정상 과정을 초월한 적용 가능성을 넓혔다.