[논문 리뷰] Two-stage Estimation of Latent Variable Regression Models: A General, Root-N Consistent Solution

Yang Liu, Xiaohui Luo외 5명|arXiv (Cornell University)|2026. 01. 24.

Psychometric Methodologies and Testing인용 수 0

한 줄 요약

본 논문은 잠재 변수 모델에서 이단계(two-stage) 추정에 대한 일반적인 바이어스 보정 프레임워크를 개발하고, sqrt(n)-일관성을 보이며 바이어스 보정된 FSR (factor score regression) 및 몬테카를로 분산 추정에 대한 실용적 알고리즘을 제공합니다.

ABSTRACT

Latent variable (LV) models are widely used in psychological research to investigate relationships among unobservable constructs. When one-stage estimation of the overall LV model is challenging, two-stage factor score regression (FSR) serves as a convenient alternative: the measurement model is fitted to obtain factor scores in the first stage, which are then used to fit the structural model in the subsequent stage. However, naive application of FSR is known to yield biased estimates of structural parameters. In this paper, we develop a generic bias-correction framework for two-stage estimation of parametric statistical models and tailor it specifically to FSR. Unlike existing bias-corrected FSR solutions, the proposed method applies to a broader class of LV models and does not require computing specific types of factor scores. We establish the root-n consistency of the proposed bias-corrected two-stage estimator under mild regularity conditions. To ensure broad applicability and minimize reliance on complex analytical derivations, we introduce a stochastic approximation algorithm for point estimation and a Monte Carlo-based procedure for variance estimation. In a sequence of Monte Carlo experiments, we demonstrate that the bias-corrected FSR estimator performs comparably to the ``gold standard'' one-stage maximum likelihood estimator. These results suggest that our approach offers a straightforward yet effective alternative for estimating LV models.

연구 동기 및 목표

• LV 모델에서 단일 단계 최대우도 추정이 도전적일 때 이단계 추정을 실용적 대안으로 활용하도록 동기를 부여한다.
• 다수의 노이즈 매개변수 및 초점 매개변수의 존재하에서 이단계 추정치를 보정하기 위한 일반적인 바이어스 보정 전략을 개발한다.
• 완만한 규칙성 조건 하에서 바이어스 보정 추정치의 sqrt(n)-일관성을 입증하고자 한다.
• 바이어스 보정된 점 추정 및 유효한 대규모 표본 표준오차를 위한 구현 가능한 알고리즘을 제공한다.
• 일반적인 LV 모델들(단순 잠재 회귀, 잠재 조절, 다차원 IRT)을 활용한 몬테카를로 연구를 통해 성능을 입증한다.

제안 방법

• 초점 매개변수를 조정하기 위해 확률적 근사(stochastic approximation)를 사용한 이단계 추정에 대한 일반적이고 블랙박스(blackbox) 바이어스 보정 프레임워크를 제안한다.
• 매개변수를 nuisance와 focal 부분으로 분할하여 이단계에서 순차적 추정을 가능하게 한다.
• 바이어스 보정 매핑 h, 그 역함수 h^{-1}, 그리고 보정된 추정치를 얻기 위한 Delta 행렬을 정의한다.
• 바이어스 보정 추정치의 sqrt(n)-일관성을 입증하고 암묵적 미분과 Delta 방법을 통해 그 점근 공분산을 도출한다.
• 알고리즘 1과 2를 제공한다: 바이어스 보정을 위한 Robbins-Monro 스타일 절차와 점근 공분산 행렬을 계산하기 위한 실용적 방법.
• 선형 측정/구조 형태를 넘어 LV 모델의 요인점수 회귀에의 적용 가능성을 보인다.

Figure 1: Graphical illustration of the bias-correction strategy in a single-parameter model. The parameter is denoted by $\varphi$ . Panel A: The expected value of the initial (possibly biased) estimator $\hat{\varphi}(\mathbf{Y}_{1:n})$ , $h(\varphi)=\mathbb{E}_{\varphi}\hat{\varphi}(\mathbf{Y}_{1

실험 결과

연구 질문

• RQ1 다수의 nuisance 및 focal 매개변수를 처리하는 이단계 LV 모델 추정에 대한 일반적인 바이어스 보정 전략을 개발할 수 있는가?
• RQ2 완만한 규칙성 조건하에서 바이어스 보정된 이단계 추정치가 sqrt(n)-일관하는가 그리고 실무에서 그 분산을 어떻게 추정할 수 있는가?
• RQ3 실무자들이 최소한의 해석적 도출과 간단한 입력 프로그램만으로 바이어스 보정된 FSR을 어떻게 구현할 수 있는가?
• RQ4 몬테 카를로 실험이 일반적인 LV 모델에서 바이어스 보정된 FSR이 1단계 최대우도와 비슷한 성능을 보임을 보여주는가?

주요 결과

• 제안된 바이어스 보정 프레임워크는 완만한 규칙성 조건 하에서 focal LV 매개변수에 대해 sqrt(n)-일관적인 추정치를 산출한다.
• 이 방법은 일반적인 h 함수에 의존하며, h^{-1}를 통해 편향된 초기 추정치를 무편향한 대응치로 매핑하여 바이어스 보정을 가능하게 한다.
• 구현을 위한 실용적인 Robbins-Monro 알고리즘과 몬테카를로 분산 추정 절차가 제공된다.
• 이 접근법은 광범위한 LV 모델에 적용 가능하며, 두 번째 단계에서 특수한 요인점수나 전체 가능도 평가를 필요로 하지 않는다.
• 몬테 카를로 연구에서 바이어스 보정된 FSR 추정량이 다양한 LV 설정에서 1단계 ML 추정량에 비해 비슷한 성능을 보인다.