[論文レビュー] Robust Model Selection for Discovery of Latent Mechanistic Processes

Jiawei Li, Nguyen Nguyen+3 more|arXiv (Cornell University)|Feb 25, 2026

Generative Adversarial Networks and Image Synthesis被引用数 0

ひとこと要約

本論文は、尤度ベースの感度とノンパラメトリックなロバスト性を組み合わせて、誤指定下の潜在的機械的プロセスの数を正しく識別するロバストなモデル選択基準 AC DC を提案し、理論的保証と経験的デモを提供する。

ABSTRACT

When learning interpretable latent structures using model-based approaches, even small deviations from modeling assumptions can lead to inferential results that are not mechanistically meaningful. In this work, we consider latent structures that consist of $K_o$ mechanistic processes, where $K_o$ is unknown. When the model is misspecified, likelihood-based model selection methods can substantially overestimate $K_o$ while more robust nonparametric methods can be overly conservative. Hence, there is a need for approaches that combine the sensitivity of likelihood-based methods with the robustness of nonparametric ones. We formalize this objective in terms of a robust model selection consistency property, which is based on a component-level discrepancy measure that captures the mechanistic structure of the model. We then propose the accumulated cutoff discrepancy criterion (ACDC), which leverages plug-in estimates of component-level discrepancies. To apply ACDC, we develop mechanistically meaningful component-level discrepancies for a general class of latent variable models that includes unsupervised and supervised variants of probabilistic matrix factorization and mixture modeling. We show that ACDC is robustly consistent when applied to unsupervised matrix factorization and mixture models. Numerical results demonstrate that in practice our approach reliably identifies a mechanistically meaningful number of latent processes in numerous illustrative applications, outperforming existing methods.

研究の動機と目的

• identifiability および misspecification の懸念を捉えるロバストなモデル選択の一貫性を定義する。
• プラグイン型のロバストなモデル選択手法として積算カットオフ不一致基準（ACDC）を提案する。
• 混合モデルや確率的行列因子分解（PMF）を含む潜在変数モデルへの ACDC の適用方法を示す。
• 混合モデルおよび PMF 系の変種に対するロバストなモデル選択の一貫性を証明する。
• シミュレーションと実データを通じて、ACDC が機械的に意味のある潜在過程の同定において既存手法を上回ることを示す。

提案手法

• データが与える条件ノイズ分布と仮定されたノイズ分布との不一致を介して成分レベルの不一致を形式化する。
• 最悪ケースの成分別不一致 rho(Po,K0) を定義し、経験分布を用いたプラグイン推定量を用いる。
• ACDC 損失 R^rho = sum_{k=1}^K max(0, D_comp^{(K,k)} - rho) を導入し、R^rho を最小化して K を選択する。
• 経験的ノイズ分布と観測データを用いて D_comp^{(K,k)} を推定する実践的手順を提供する。
• KL 発散、Wasserstein 距離、または MMD などの不一致度量と、それに対応するロバストな一貫性結果について論じる。
• rho の選択方法として、ドメイン知識、シミュレーションによるキャリブレーション、安定性ベースの自動選択のアプローチを概説する。

実験結果

リサーチクエスチョン

• RQ1 潜在構造の誤指定下でも信頼性を保つロバストなモデル選択をどのように達成できるか。
• RQ2 広範な潜在変数モデルのクラスで、プラグイン式の不一致ベース基準が真の潜在過程の数を識別できるか。
• RQ3 混合モデルおよび PMF 類似モデルに対する提案ロバスト基準の一貫性という理論的保証は何か。
• RQ4 従来の基準（例：BIC）や非パラメトリック代替手法と比較して、実務上の性能はどうか。
• RQ5 実データセットにおける rho の選択・キャリブレーション方法はどうあるべきか。

主な発見

• ACDC は KL、Wasserstein、または MMD 不一致に対して混合モデルの k-ロバスト一貫性を提供する。
• ACDC は低次元・高次元の両方のシミュレーションで肘点・シルエット・ギャップ基準を上回り、MAE および 0-1 ロスが低い。
• 本手法は単一細胞 RNA シーケンシングデータを用いた細胞発見タスクで最先端の性能を発揮する。
• 経験分布と標準的なパラメータ推定器（例：EM）を用いたプラグイン的計算が実用的である。
• この枠組みは混合以外の潜在変数モデル、監視付き PMF の派生にも対応する。