[논문 리뷰] How robust are Structural Equation Models to model miss-specification? A simulation study

Lionel R. Hertzog|arXiv (Cornell University)|2018. 03. 16.

Advanced Causal Inference Techniques참고 문헌 11인용 수 11

한 줄 요약

이 시뮬레이션 연구는 R의 lavaan과 piecewiseSEM을 사용하여 구조적 방정식 모델(SEM)의 모형 오특도에 대한 내성에 대해 평가한다. 연구 결과, 단일 적합도 지표만으로는 오특도를 신뢰할 수 없으며, 특히 BIC를 포함한 여러 지표를 조합하는 것이 모형 선택을 향상시킨다. 또한 효과적인 표본 크기(100 이상)는 효과 탐지 및 과적합 또는 과소적합을 방지하기 위해 필수적이다.

ABSTRACT

Structural Equation Models (SEMs) are routinely used in the analysis of empirical data by researchers from different scientific fields such as psychologists or economists. In some fields, such as in ecology, SEMs have only started recently to attract attention and thanks to dedicated software packages the use of SEMs has steadily increased. Yet, common analysis practices in such fields that might be transposed from other statistical techniques such as model acceptance or rejection based on p-value screening might be poorly fitted for SEMs especially when these models are used to confirm or reject hypotheses. In this simulation study, SEMs were fitted via two commonly used R packages: lavaan and piecewiseSEM. Five different data-generation scenarios were explored: (i) random, (ii) exact, (iii) shuffled, (iv) underspecified and (v) overspecified. In addition, sample size and model complexity were also varied to explore their impact on various global and local model fitness indices. The results showed that not one single model index should be used to decide on model fitness but rather a combination of different model fitness indices is needed. The global chi-square test for lavaan or the Fisher's C statistic for piecewiseSEM were, in isolation, poor indicators of model fitness. In addition, the simulations showed that to achieve sufficient power to detect individual effects, adequate sample sizes are required. Finally, BIC showed good capacity to select models closer to the truth especially for more complex models. I provide, based on these results, a flowchart indicating how information from different metrics may be combined to reveal model strength and weaknesses. Researchers in scientific fields with little experience in SEMs, such as in ecology, should consider and accept these limitations.

연구 동기 및 목표

• 실제 생태학적 자료 시나리오에서 일반적으로 사용되는 SEM 적합도 지표가 모형 오특도를 얼마나 잘 탐지하는지 평가하기 위해.
• 표본 크기와 모형 복잡도가 전역 및 국소 적합도 지표 성능에 미치는 영향을 조사하기 위해.
• 정보 기준(AIC, BIC, HBIC)이 진정한 자료 생성 과정에 더 가까운 모형을 선택하는 데 얼마나 효과적인지 비교하기 위해.
• SEM 경험 부족한 생태학 및 기타 분야의 연구자들이 적합도를 해석하고 모형을 개선하는 데 실용적인 지침을 제공하기 위해.
• 卡이제곱 또는 피셔의 C와 같은 단일 적합도 통계량에 의존하는 것의 한계를 부각하기 위해.

제안 방법

• 랜덤, 정확한, 셔플된, 부족하게 특정된, 과도하게 특정된 모형을 포함한 다섯 가지 데이터 생성 시나리오를 시뮬레이션하였다.
• 표본 크기와 모형 복잡도를 다양화하여 lavaan과 piecewiseSEM 패키지에서 적합도 지표에 미치는 영향을 평가하였다.
• 전역 적합도 지표(Chi-square in lavaan, Fisher’s C in piecewiseSEM)와 국소 지표(경로 p-값, R-제곱, 조건부 독립성 검정)를 평가하였다.
• 정보 기준(AIC, AICc, BIC, HBIC)을 사용하여 다양한 시나리오에서의 모형 선택 성능을 비교하였다.
• 비계층적 구조나 잠재 변수가 없는 다변량 정규분포 하에서 데이터를 생성하여 비교 가능성을 확보하였다.
• 다양한 지표를 통합하여 모형 평가 및 개선을 안내하는 决策 흐름도를 개발하였다.

실험 결과

연구 질문

• RQ1 다양한 데이터 생성 시나리오에서 전역 적합도 지표(예: 카이제곱, 피셔의 C)는 모형 오특도 탐지에 얼마나 효과적인가?
• RQ2 표본 크기와 모형 복잡도는 SEM에서 개별 경로 효과 탐지 능력에 얼마나 영향을 미치는가?
• RQ3 정보 기준(AIC, AICc, BIC, HBIC) 중 어느 것이 다양한 오특도 조건에서 진정한 모형을 가장 잘 식별하는가?
• RQ4 국소 적합도 지표(예: 경로 p-값, R-제곱, 조건부 독립성 검정)는 과소적합 또는 과적합을 진단하는 데 도움이 되는가?
• RQ5 SEM에서 모형 개선을 위한 가장 신뢰할 수 있는 지표 조합은 무엇인가?

주요 결과

• lavaan의 카이제곱 검정이나 piecewiseSEM의 피셔의 C와 같은 단일 전역 적합도 지표는 오특도 탐지에 독립적으로 신뢰할 수 없었다.
• BIC는 특히 복잡한 모형과 더 큰 표본 크기에서 진정한 자료 생성 과정에 더 가까운 모형을 선택하는 데 가장 뛰어난 능력을 보였다.
• 표본 크기가 100 미만이면 개별 경로 효과 탐지 능력이 제한되어 있어, SEM 적용에서 충분한 표본 크기가 필수적임을 시사한다.
• AICc의 모형 선택 성능은 표본 크기와 함께 '산형' 패턴을 보였고, BIC와 HBIC는 더 큰 표본에서 渐近적으로 향상되는 경향을 보였다.
• 높은 전역 p-값이지만 유의미한 경로가 적고 R-제곱이 낮은 모형은 신호 추출이 불량함을 시사하여 과적합 또는 의미 있는 관계 부재를 시사한다.
• 반대로, 전역 적합도가 열악한데도 많은 유의미한 경로와 높은 R-제곱을 보이는 경우는 과소적합 또는 잘못된 방향성 가정을 시사하며, 누락된 관계나 잘못 설정된 경로를 의미한다.