[논문 리뷰] Varying-Coefficient Mixture of Experts Model

Qicheng Zhao, Celia M.T. Greenwood외 1명|arXiv (Cornell University)|2026. 01. 05.

Bayesian Methods and Mixture Models인용 수 0

한 줄 요약

이 논문은 모든 계수가 게이팅과 전문가 구성요소에서 지수 변수에 따라 변하는 Varying-Coefficient Mixture of Experts (VCMoE) 모델을 제시하고, 식별성, 라벨-일관 EM 알고리즘을 통한 추정, 및 추론 도구를 개발한다. 이론, 시뮬레이션, 그리고 단일 핵(nucleus) RNA 시퀀싱 데이터에 대한 응용이 포함된다.

ABSTRACT

Mixture-of-Experts (MoE) is a flexible framework that combines multiple specialized submodels (``experts''), by assigning covariate-dependent weights (``gating functions'') to each expert, and have been commonly used for analyzing heterogeneous data. Existing statistical MoE formulations typically assume constant coefficients, for covariate effects within the expert or gating models, which can be inadequate for longitudinal, spatial, or other dynamic settings where covariate influences and latent subpopulation structure evolve across a known dimension. We propose a Varying-Coefficient Mixture of Experts (VCMoE) model that allows all coefficient effects in both the gating functions and expert models to vary along an indexing variable. We establish identifiability and consistency of the proposed model, and develop an estimation procedure, label-consistent EM algorithm, for both fully functional and hybrid specifications, along with the corresponding asymptotic distributions of the resulting estimators. For inference, simultaneous confidence bands are constructed using both asymptotic theory for the maximum discrepancy between the estimated functional coefficients and their true counterparts, and with bootstrap methods. In addition, a generalized likelihood ratio test is developed to examine whether a coefficient function is genuinely varying across the index variable. Simulation studies demonstrate good finite-sample performance, with acceptable bias and satisfactory coverage rates. We illustrate the proposed VCMoE model using a dataset of single nucleus gene expression in embryonic mice to characterize the temporal dynamics of the associations between the expression levels of genes Satb2 and Bcl11b across two latent cell subpopulations of neurons, yielding results that are consistent with prior findings.

연구 동기 및 목표

• 공변량 효과가 지표 변수에 따라 달라지는 잠재적 하위집단의 이질성 모델링을 동기 부여하려는 동기를 제시한다.
• VCMoE 프레임워크의 식별성 및 일관성을 확립한다.
• 게이팅 및 전문가 모형의 가변 계수를 추정하기 위한 라벨-일관 EM 알고리즘를 개발한다.
• 점근적 성질을 도출하고 동시 신뢰구간 및 가설 검정 절차를 제공한다.
• 시뮬레이션과 배아 쥐 snRNA-seq 데이터에 대한 적용을 통해 방법을 입증한다.

제안 방법

• 연속 지수 U의 함수로 공변량 의존적이며 지수-변동하는 게이팅 및 전문가 계수를 갖는 두 구성요소 MoE로 정의한다.
• 연속 지수 U의 함수로 공변량 의존적이며 로컬 선형 근사를 이용한 계수 함수에 대한 커널 가중치를 갖는 로컬 우도 접근법을 제안하여 추정 속도 O_p((nh)^{-1/2}+h^{2})를 얻는다.
• E-단계에서 전역 구성원 자격을 업데이트하고 M-단계에서 U 값의 그리드에 걸쳐 로컬로 계수 함수를 추정하는 라벨-일관 EM 알고리즘을 개발한다.
• 일부 효과가 실제로 상수인 경우 상수 계수를 추정하는 두 단계 절차를 도입하여 효율성을 높이고 표준 추론을 가능하게 한다.
• 가능한 대역폭 선택은 우도 교차 검증으로 수행하고 추정량의 점근적 분포를 도출한다(편향 및 분산 포함), 이를 통해 동시 신뢰구간 및 가설 검정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 MoE 프레임워크를 확장하여 게이팅 및 전문가 모형의 모든 계수가 지수 변수에 따라 변하도록 할 수 있는가?
• RQ2 완만한 규칙성 조건하에서 VCMoE가 식별 가능하고 일관된가?
• RQ3 지수 전체에서 라벨 일관성을 유지하면서 가변 계수를 효율적으로 추정하는 방법은?
• RQ4 점근적 특성과 가변 계수 함수에 대해 동시 신뢰구간 및 가설 검정을 어떻게 구성할 수 있는가?
• RQ5 시뮬레이션과 실제 데이터가 잠재 하위집단에서 정확한 추정, 커버리지 및 의미 있는 시간적/공간적 동태를 보여주는가?

주요 결과

• VCMoE 모델은 더 약한 조건에서 식별 가능하며 지정된 규칙성 조건하에서 일관성을 유지한다.
• 로컬 선형 근사를 갖는 라벨-일관 EM 알고리즘은 가변 계수에 대해 수렴 속도 O_p((nh)^{-1/2}+h^{2})의 일관된 국소 추정량을 산출한다.
• 일부 효과가 상수인 경우를 위한 두 단계 절차는 상수 계수의 추정을 효율적으로 가능하게 하여 표준 추론 속성을 보존한다.
• 이 프레임워크는 가변 계수에 대해 점근적, 부트스트랩 및 일반화 우도 비율 검정 등의 동시 신뢰구간과 다중 검정을 지원한다.
• 시뮬레이션 연구는 편향 및 커버리지에서 유효한 소표본 성능을 보여주며, 배아 쥐 snRNA-seq 데이터에 대한 적용은 잠재 신경세포 하위집단 간 Satb2-Bcl11b 연합의 시간적 동태를 보여준다.