[논문 리뷰] regsem: Regularized Structural Equation Modeling

Ross Jacobucci|arXiv (Cornell University)|2017. 03. 24.

Advanced Statistical Modeling Techniques참고 문헌 19인용 수 11

한 줄 요약

이 논문은 소규모 표본 SEM에서 모형 복잡도를 줄이기 위해 리지와 라소 페널티를 적용하는 정규화된 구조적 방정식 모델링(RegSEM)을 구현하는 R 패키지인 regsem을 소개한다. 정규화된 우도 추정을 SEM에 통합함으로써 regsem은 특히 모수 대 표본 크기 비율이 낮을 경우 파arameter 추정 정확도를 향상시키고 거짓 긍정률을 감소시킨다.

ABSTRACT

The regsem package in R, an implementation of regularized structural equation modeling (RegSEM; Jacobucci, Grimm, and McArdle 2016), was recently developed with the goal of incorporating various forms of penalized likelihood estimation in a broad array of structural equations models. The forms of regularization include both the ridge (Hoerl and Kennard 1970) and the least absolute shrinkage and selection operator (lasso; Tibshirani 1996), along with sparser extensions. RegSEM is particularly useful for structural equation models that have a small parameter to sample size ratio, as the addition of penalties can reduce the complexity, thus reducing the bias of the parameter estimates. The paper covers the algorithmic details and an overview of the use of regsem with the application of both factor analysis and latent growth curve models.

연구 동기 및 목표

• 높은 모수 대 표본 크기 비율로 인해 편향된 추정치와 수렴 문제를 유발하는 구조적 방정식 모델링(SEM)의 과제를 해결한다.
• 제한된 표본 크기에서 정규화 기법을 적용하여 SEM의 모형 복잡도를 줄임으로써 추정 정확도를 향상시킨다.
• 요인 분석 및 잠재 성장 곡선 모델을 포함한 다양한 SEM 유형에서 정규화를 지원하는 일반 목적의 R 패키지(regsem)를 제공한다.
• 모형의 구조와 해석 가능성 유지하면서도 잠재 변수 모델에서 변수 선택과 수축을 가능하게 한다.
• 기존 최대우도 추정이 소규모 N으로 인해 실패할 때도 정규화를 활용한 대규모 SEM의 사용을 촉진한다.

제안 방법

• 기존 최대우도 추정(MLE)에 모수에 대한 페널티 함수를 추가하여 정규화된 구조적 방정식 모델링(RegSEM)을 구현한다.
• 라소(L1-노름)와 리지(L2-노름) 페널티를 적용하여 회귀 계수를 0으로 수축시키며, 라소는 일부 계수를 정확히 0으로 설정함으로써 변수 선택을 가능하게 한다.
• RegSEM 목표 함수를 F_regsem = F_ML + λ × P(·)로 설정하며, 여기서 P(·)는 선택된 모수(예: 성장 모델의 회귀 경로)에 대한 페널티 함수이다.
• 비가능도가 있는 라소 페널티를 다룰 수 있고 복잡한 SEM에서 수렴을 가능하게 하는 프록시미티 기반 경사하강법을 사용한다.
• 확증적 요인 분석, 잠재 성장 곡선 모델, 잠재 변화 점수 모델을 포함한 다양한 SEM 모델을 regsem R 패키지를 통해 지원한다.
• 과적합을 줄이고 모형의 단순성(파라미터 수 감소)을 향상시키기 위해 희박성 유도 페널티를 통합하며, 특히 소규모 N에서 고차원 설정에서 효과적이다.

실험 결과

연구 질문

• RQ1 소규모 표본에서의 구조적 방정식 모델링(SEM)에 대해 정규화된 SEM(RegSEM)이 기존 최대우도 추정보다 파arameter 추정 정확도를 어떻게 향상시키는가?
• RQ2 리지와 라소 페널티가 낮은 모수 대 표본 크기 비율을 가진 SEM에서 거짓 긍정률과 거짓 부정률을 얼마나 줄이는가?
• RQ3 RegSEM은 모형의 구조나 해석 가능성에 손상을 주지 않고도 잠재 변수 모델에서 효과적으로 변수 선택을 수행할 수 있는가?
• RQ4 regsem R 패키지는 많은 잠재 변수와 관측 변수를 포함한 복잡한 SEM을 소규모 표본 조건에서 어떻게 추정을 지원하는가?
• RQ5 고차원 SEM에 정규화를 적용할 때 발생하는 계산 및 수렴 과제는 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 소규모 표본(N=80)과 29개의 모수를 가진 시뮬레이션 데이터에서, RegSEM은 최대우도 추정 대비 거짓 긍정률과 거짓 부정률을 크게 감소시켰다.
• regsem의 라소 페널티는 성장 곡선 모델에서 10개의 예측 변수를 가진 경우 일부 회귀 계수를 정확히 0으로 이끌어내어 효과적인 변수 선택을 가능하게 하였다.
• regsem 패키지는 표준 랩탑에서 최대 40개의 페널티를 가진 복잡한 SEM을 몇 초 내에 추정할 수 있어 중간 규모 모델의 계산 가능성은 입증하였다.
• 정규화는 모수 대 표본 크기 비율이 낮을 경우, 특히 N < 10p일 때 모형 복잡도를 줄이고 추정 편향을 개선했다.
• 프록시미티 기반 경사하강법은 비가능도가 있는 라소 페널티를 가진 모형에서 수렴을 가능하게 하여 기존 SEM 최적화 알고리즘의 한계를 극복하였다.
• regsem의 향후 개선 사항으로는 좌표 강하 알고리즘과 k-폴드 교차검증과 같은 리샘플링 방법을 통합하여 최적의 정규화 파rameter를 더 잘 선택할 수 있도록 하는 것이 포함될 수 있다.