[논문 리뷰] sparseDFM: An R Package to Estimate Dynamic Factor Models with Sparse Loadings

Luke M. Mosley, Tak-Shing Chan외 1명|arXiv (Cornell University)|2023. 03. 23.

Monetary Policy and Economic Impact인용 수 4

한 줄 요약

이 논문은 l1 정규화를 적용한 새로운 기대값-최대화(EM) 알고리즘을 사용하여 희소한 로딩을 갖는 동적 인자 모델(Dynamic Factor Models, DFM)을 추정하기 위한 sparseDFM R 패키지를 소개한다. 이 방법은 잠재 인자들을 이끄는 핵심 변수들을 식별함으로써 해석 가능성을 향상시킨다. 실제 영국 무역 및 물가상승률 데이터에 대한 응용에서 이 방법은 기존 DFM보다 더 높은 실시간 예측 정확도를 보이며, 평균 절대오차를 최대 20%까지 감소시킨다.

ABSTRACT

sparseDFM is an R package for the implementation of popular estimation methods for dynamic factor models (DFMs) including the novel Sparse DFM approach of Mosley et al. (2023). The Sparse DFM ameliorates interpretability issues of factor structure in classic DFMs by constraining the loading matrices to have few non-zero entries (i.e. are sparse). Mosley et al. (2023) construct an efficient expectation maximisation (EM) algorithm to enable estimation of model parameters using a regularised quasi-maximum likelihood. We provide detail on the estimation strategy in this paper and show how we implement this in a computationally efficient way. We then provide two real-data case studies to act as tutorials on how one may use the sparseDFM package. The first case study focuses on summarising the structure of a small subset of quarterly CPI (consumer price inflation) index data for the UK, while the second applies the package onto a large-scale set of monthly time series for the purpose of nowcasting nine of the main trade commodities the UK exports worldwide.

연구 동기 및 목표

• 기존 동적 인자 모델(DFM)에서 밀도 높은 로딩으로 인해 관측 변수와 잠재 인자 간의 관계가 흐려지는 해석 문제를 해결하기 위해.
• 기대값-최대화(EM) 알고리즘을 통한 정규화된 준최대우도 추정을 활용해 희소 DFM를 효율적으로 추정할 수 있는 컴퓨팅 효율적인 R 패키지를 개발하기 위해.
• 실제 응용 사례를 통해 희소 로딩이 경제 실시간 예측 및 물가상승률 데이터 요약에 실질적인 이점을 제공하는지 보여주기 위해.
• 다양한 주기, 누락 데이터를 포함한 고차원 시계열 데이터에 대해 희소 DFM를 적용할 수 있도록 확장 가능하고 유지보수 가능한 도구를 제공하기 위해.

제안 방법

• 희소 로딩 행렬을 추정하기 위해 l1-노름 정규화를 적용한 기대값-최대화(EM) 알고리즘을 사용하여, 0인 요소를 증가시켜 해석 가능성을 향상시킨다.
• 희소 제약 조건 하에 인자 로딩, 인자, 오차 분산을 동시에 추정하기 위해 정규화된 준최대우도 프레임워크를 활용한다.
• 계산 효율성을 확보하기 위해 C++를 사용하여 Armadillo 라이브러리를 통한 칼만 필터링 및 스무딩을 구현하며, 다변량 및 단변량 칼만 필터 모두를 지원한다.
• EM 프레임워크 내에서 수렴 속도를 향상시키기 위해 ADMM(교차 방향 최적화 방법) 업데이트를 사용한다.
• 오차 가정으로는 이산형 동일분포(white noise)와 AR(1) 순차 상관관계를 지원한다.
• 최적의 l1 페널티 파라미터를 선택하기 위해 교차검증 또는 확장 윈도우 절차를 통해 모델 튜닝을 수행한다.

Figure 1 : Output of missing_data_plot(data) showing the amount of missing data in the inflation example.

실험 결과

연구 질문

• RQ1 동적 인자 모델에서 희소 로딩이 특정 기여 변수를 식별함으로써 인자 구조의 해석 가능성을 향상시킬 수 있는가?
• RQ2 제안된 희소 DFM 추정 방법이 실시간 예측 정확도에서 기존 DFM을 능가하는가, 특히 실시간 실시간 예측에서 그러한가?
• RQ3 고차원 설정에서 표준 DFM 추정과 비교해 EM-희소 알고리즘의 계산 효율성은 어떠한가?
• RQ4 희소 로딩이 거시경제 및 무역 데이터에서 의미 있는 경제적 그룹화를 식별하는 데 얼마나 기여하는가?

주요 결과

• 희소 DFM 접근법은 희소 로딩 행렬을 생성함으로써 해석 가능성을 크게 향상시켜 특정 인자와 관련된 변수 그룹을 쉽게 식별할 수 있도록 한다.
• 영국 수출 실시간 예측 사례 연구에서, 희소 DFM은 수평 1에 대해 평균 절대오차를 20.5% 감소시키고, 수평 2에선 18.2% 감소시켰다.
• 48개월에 걸친 가짜 실시간 예측 실험에서 희소 DFM는 오차 분포가 더 좁았으며, 중앙값 오차가 기존 DFM 대비 10~15% 낮았다.
• EM-희소 알고리즘은 안정적인 수렴과 계산 효율성을 확보하여 혼합 주기 및 누락 데이터를 포함한 대규모 데이터셋에서도 확장 가능한 추정이 가능했다.
• 영국 CPI 데이터에 대한 사례 연구에서 희소 DFM는 특정 물가상승 유형과 연관된 인자를 성공적으로 식별하여 구조적 해석 가능성을 향상시켰다.
• sparseDFM R 패키지는 CRAN에 공개되어 있으며, 모델 피팅, 예측, 진단 기능을 포함하고 있으며, 향후 시각화 및 모델링의 유연성 향상을 위한 확장 기능이 계획되어 있다.

Figure 2 : Output of plot() with type = “loading.heatmap” showing a heatmap of the estimated loadings from Sparse DFM fit on the inflation data.