[논문 리뷰] Robust Model Selection for Discovery of Latent Mechanistic Processes

Jiawei Li, Nguyen Nguyen외 3명|arXiv (Cornell University)|2026. 02. 25.

Generative Adversarial Networks and Image Synthesis인용 수 0

한 줄 요약

논문은 misspecification하에서 잠재적 기계적 프로세스의 수를 정확히 식별하기 위해 likelihood 기반 민감도와 비모수적 강건성을 결합한 ACDC를 도입하며, 이론적 보장과 경험적 시연을 제공한다.

ABSTRACT

When learning interpretable latent structures using model-based approaches, even small deviations from modeling assumptions can lead to inferential results that are not mechanistically meaningful. In this work, we consider latent structures that consist of $K_o$ mechanistic processes, where $K_o$ is unknown. When the model is misspecified, likelihood-based model selection methods can substantially overestimate $K_o$ while more robust nonparametric methods can be overly conservative. Hence, there is a need for approaches that combine the sensitivity of likelihood-based methods with the robustness of nonparametric ones. We formalize this objective in terms of a robust model selection consistency property, which is based on a component-level discrepancy measure that captures the mechanistic structure of the model. We then propose the accumulated cutoff discrepancy criterion (ACDC), which leverages plug-in estimates of component-level discrepancies. To apply ACDC, we develop mechanistically meaningful component-level discrepancies for a general class of latent variable models that includes unsupervised and supervised variants of probabilistic matrix factorization and mixture modeling. We show that ACDC is robustly consistent when applied to unsupervised matrix factorization and mixture models. Numerical results demonstrate that in practice our approach reliably identifies a mechanistically meaningful number of latent processes in numerous illustrative applications, outperforming existing methods.

연구 동기 및 목표

• 확인가능성(identifiability) 및 미스스펙피케이션(misspecification) 우려를 포착하기 위한 강건한 모델 선택 일관성 정의.
• Propose the accumulated cutoff discrepancy criterion (ACDC) as a plug-in robust model selection method.
• Show how to apply ACDC to latent variable models including mixture models and probabilistic matrix factorization.
• Prove robust model selection consistency for mixture models and PMF variants.
• Demonstrate through simulations and real data that ACDC outperforms existing methods in identifying mechanistically meaningful latent processes.

제안 방법

• 데이터가 주어졌을 때의 조건부 노이즈 분포와 가정된 노이즈 분포 간의 차이를 통해 구성요소 수준의 불일치를 형식화한다.
• 최악의 경우의 구성요소별 불일치 rho(Po,K0)을 정의하고 경험적 분포를 이용한 플러그인 추정치를 사용한다.
• ACDC 손실: R^rho = sum_{k=1}^K max(0, D_comp^{(K,k)} - rho) 를 도입하고 R^rho 를 최소화하여 K를 선택한다.
• 경험적 노이즈 분포와 관측 데이터 를 사용하여 D_comp^{(K,k)}를 추정하는 실용적 절차를 제공한다.
• KL 발산, Wasserstein 거리 또는 MMD와 같은 불일치 척도 선택과 이에 상응하는 강건 일관성 결과를 논의한다.
• 도메인 지식, 시뮬레이션 보정 및 자동 안정성 기반 선택을 통한 rho 선택(또는 보정) 방법을 개략적으로 제시한다.

실험 결과

연구 질문

• RQ1 잠재 구조의 미스스펙피케이션 아래에서도 신뢰할 수한 강건한 모델 선택을 어떻게 달성할 수 있는가?
• RQ2 넓은 범주의 잠재 변수 모델에 걸쳐 진짜 잠재 프로세스의 수를 식별할 수 있는 플러그인 기반 불일치(discrepancy) 기준이 있는가?
• RQ3 혼합 모델 및 PMF 유사 모델에 대해 제안된 강건한 기준의 이론적 보장(일관성)은 무엇인가?
• RQ4 실제 적용에서 ACDC가 전통적 기준(BIC 등) 및 비모수적 대안에 비해 어떤 성능을 보이는가?
• RQ5 데이터 세트 전반에 걸쳐 rho를 실제로 어떻게 선택하거나 보정해야 하는가?

주요 결과

• ACDC는 KL, Wasserstein, 또는 MMD 불일치 하에서 혼합 모델에 대해 k-robust 일관성을 제공한다.
• ACDC는 저차원 및 고차원 시뮬레이션 모두에서 elbow, silhouette, gap 기준보다 성능이 우수하고 MAE 및 0-1 손실이 더 낮다.
• 이 방법은 단일세포 RNA 시퀀싱 데이터를 이용한 세포 발견 작업에서 최첨단 성능을 달성한다.
• 플러그인 방식은 경험적 분포 및 표준 매개변수 추정기(예: EM)를 사용한 실용적 계산을 가능하게 한다.
• 이 프레임워크는 혼합을 넘어 PMF의 감독된 변형 및 다른 잠재변수 모델을 지원한다.