[論文レビュー] Varying-Coefficient Mixture of Experts Model

Qicheng Zhao, Celia M.T. Greenwood+1 more|arXiv (Cornell University)|Jan 5, 2026

Bayesian Methods and Mixture Models被引用数 0

ひとこと要約

要約: 本論文は Varying-Coefficient Mixture of Experts (VCMoE) モデルを提案し、ゲーティングおよびエキスパート成分の全係数が指標変数に従って変化するようにし、識別性、ラベル整合EMアルゴリズムによる推定、推論ツールを開発する。理論・シミュレーション・シングル核RNAシーケンスデータへの応用を含む。

ABSTRACT

Mixture-of-Experts (MoE) is a flexible framework that combines multiple specialized submodels (``experts''), by assigning covariate-dependent weights (``gating functions'') to each expert, and have been commonly used for analyzing heterogeneous data. Existing statistical MoE formulations typically assume constant coefficients, for covariate effects within the expert or gating models, which can be inadequate for longitudinal, spatial, or other dynamic settings where covariate influences and latent subpopulation structure evolve across a known dimension. We propose a Varying-Coefficient Mixture of Experts (VCMoE) model that allows all coefficient effects in both the gating functions and expert models to vary along an indexing variable. We establish identifiability and consistency of the proposed model, and develop an estimation procedure, label-consistent EM algorithm, for both fully functional and hybrid specifications, along with the corresponding asymptotic distributions of the resulting estimators. For inference, simultaneous confidence bands are constructed using both asymptotic theory for the maximum discrepancy between the estimated functional coefficients and their true counterparts, and with bootstrap methods. In addition, a generalized likelihood ratio test is developed to examine whether a coefficient function is genuinely varying across the index variable. Simulation studies demonstrate good finite-sample performance, with acceptable bias and satisfactory coverage rates. We illustrate the proposed VCMoE model using a dataset of single nucleus gene expression in embryonic mice to characterize the temporal dynamics of the associations between the expression levels of genes Satb2 and Bcl11b across two latent cell subpopulations of neurons, yielding results that are consistent with prior findings.

研究の動機と目的

• 潜在的サブポピュレーションによりヘテロogeneity をモデル化する動機づけ、共変量効果が指標変数に沿って変化すること（例: 時間または空間）。
• VCMoE フレームワークの識別性と一貫性を確立する。
• ゲーティングおよびエキスパートモデルの varying coefficients を推定するためのラベル整合EMアルゴリズムを開発する。
• 漸近特性を導出し、同時信頼帯及び仮説検定手続きを提供する。
• シミュレーションと胚性マウスのsnRNA-seqデータへの応用を通じて方法を実証する。

提案手法

• 連続的な指標 U に対してゲーティングおよびエキスパート係数が変動する2成分 MoE を定義する。
• 局所尤度（カーネル重み付き）アプローチと局所線形近似を係数関数に適用し、推定速度を O_p((nh)^{-1/2}+h^{2}) とする。
• Eステップでグローバルな成分所属を更新し、Mステップで格子状の U 値にわたり係数関数を局所的に推定するラベル整合EMアルゴリズムを開発する。
• 真に一様 constante な効果がある場合には定数係数を推定する2段階手続きを導入し、効率と標準推論を改善する。
• 尤度交差検証による帯域幅選択を提供し、推定量の漸近分布（バイアス・分散を含む）を導出して、同時信頼帯と仮説検定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 MoE フレームワークを拡張して、ゲーティングとエキスパートの両方の全係数を指標変数に従って変動させることはできるか。
• RQ2 緩い正則性条件の下で、VCMoE は識別可能で一貫性があるか。
• RQ3 指標全体でラベル整合を保ちながら、変動係数を効率的に推定するにはどうするか。
• RQ4 漸近的性質と、変動係数関数の同時信頼帯と仮説検定をどのように構築するか。
• RQ5 シミュレーションと実データは、推定の正確さ、カバレッジ、潜在ニューロンサブポピュレーションの時系列/空間ダイナミクスを示しているか。

主な発見

• VCMoE モデルは、緩やかな条件の下で識別可能であり、指定された正則性条件の下で一貫性を保つ。
• 局所線形近似を用いたラベル整合EMアルゴリズムは、変動係数の一貫した局所推定量を、収束速度 O_p((nh)^{-1/2}+h^{2}) で与える。
• 2段階手続きにより、帰無仮説で定数となる係数の推定を効率化し、標準推論特性を保持できる。
• このフレームワークは、変動係数の同時信頼帯と多重検定（漸近、ブートストラップ、一般化尤度比検定）をサポートする。
• シミュレーション研究はバイアスとカバレッジの有限サンプル性能が良好であることを示し、胚性マウスのsnRNA-seqデータへの応用は、潜在ニューロンサブポピュレーション間の Satb2-Bcl11b の時間的動態を示している。