[논문 리뷰] TabClustPFN: A Prior-Fitted Network for Tabular Data Clustering

Tianqi Zhao, Guanyang Wang외 2명|arXiv (Cornell University)|2026. 01. 29.

Bayesian Methods and Mixture Models인용 수 0

한 줄 요약

TabClustPFN은 비지도 표 형 데이터 클러스터링을 위한 분리된 사전-데이터 적합 네트워크를 도입하여 단일 패스에서 클러스터 할당과 카디널리티를 함께 추론하고, 순서-불변 SoftARI 목적함수를 사용하여 44개 데이터셋의 실제 벤치마크에서 최첨단 성능을 달성합니다.

ABSTRACT

Clustering tabular data is a fundamental yet challenging problem due to heterogeneous feature types, diverse data-generating mechanisms, and the absence of transferable inductive biases across datasets. Prior-fitted networks (PFNs) have recently demonstrated strong generalization in supervised tabular learning by amortizing Bayesian inference under a broad synthetic prior. Extending this paradigm to clustering is nontrivial: clustering is unsupervised, admits a combinatorial and permutation-invariant output space, and requires inferring the number of clusters. We introduce TabClustPFN, a prior-fitted network for tabular data clustering that performs amortized Bayesian inference over both cluster assignments and cluster cardinality. Pretrained on synthetic datasets drawn from a flexible clustering prior, TabClustPFN clusters unseen datasets in a single forward pass, without dataset-specific retraining or hyperparameter tuning. The model naturally handles heterogeneous numerical and categorical features and adapts to a wide range of clustering structures. Experiments on synthetic data and curated real-world tabular benchmarks show that TabClustPFN outperforms classical, deep, and amortized clustering baselines, while exhibiting strong robustness in out-of-the-box exploratory settings. Code is available at https://github.com/Tianqi-Zhao/TabClustPFN.

연구 동기 및 목표

• 데이터세트 특이적 최적화 없이 컨텍스트 내 학습을 활용하여 PFN 문제로 클러스터링의 동기를 제시한다.
• 클러스터 수 미지수와 라벨 스위칭 문제를 해결하기 위해 공동 개발된 사전, 목표 함수, 아키텍처를 설계한다.
• 클러스터 할당과 카디널리티를 각각 추론하는 분리된 아키텍처를 개발한다.
• 클러스터링 작업에서 라벨 순서 규칙을 피하기 위한 순열-불변 손실을 제안한다.

제안 방법

• 실제 표 형 기하를 포착하기 위해 GMM 기반과 iResNet 변환(ZEUS) 클러스터 분포를 결합한 하이브리드 프리트레이닝 프라이어.
• 주어진 K에 대한 소프트 클러스터 할당을 학습하기 위해 트랜스포머 인코더와 반복적 교차 주의를 갖춘 Partition Inference Network (PIN).
• Cardinality Inference Network (CIN)가 후보 K들에 걸친 PIN 출력의 그램 행렬 요약으로부터 p(K|X)를 추정한다.
• SoftARI: 미리 정의된 라벨 순서 없이 라벨 스위치를 다루기 위한 PIN용 미분 가능하고 순열-불변 손실.
• 진짜 K에 대한 교차 엔트로피로 CIN을 학습시키고, 학습 안정화를 위해 PIN과 분리된 최적화 방식.
• 사전으로부터 생성된 합성 데이터셋에 대한 프리트레이닝으로 합동 후포스터 p(K,Z|X)을 근사한다.

실험 결과

연구 질문

• RQ1 PFN을 데이터세트 특이적 최적화 없이 미지정 클러스터 수의 비지도 클러스터링으로 확장할 수 있는가?
• RQ2 단일 순전파에서 파티션 구조와 클러스터 수를 어떻게 함께 추론할 수 있는가?
• RQ3 라벨 순서 규칙 없이 순열-불변 학습 목표가 클러스터링 품질을 향상시키는가?
• RQ4 prior 데이터 다양성이 실제 표 형 데이터에 대한 클러스터링 일반화에 어떤 영향을 미치는가?
• RQ5 제안된 TabClustPFN이 보이지 않는 합성 규칙과 더 큰 N 및 D에 얼마나 잘 일반화하는가?

주요 결과

• TabClustPFN은 알려진 K 설정과 미지의 K 설정에서 44개의 실제 표 형 벤치마크에서 최첨단 클러스터링 성능을 달성한다.
• 분리된 PIN-CIN 아키텍처는 한 패스에서 클러스터 할당과 카디널리티를 효과적으로 추론하며, CIN은 보정된 K 후방 확률 추정을 제공한다.
• SoftARI는 명시적 라벨 매칭이 필요하지 않으면서도 더 나은 또는 동등한 클러스터링 품질을 제공하고 사전학습 비용을 감소시킨다.
• TabClustPFN은 더 큰 N과 D에 대해 강하게 일반화되며 out-of-distribution 테스트에서도 최상위 ARI를 유지하고 k-MAE가 낮게 나타나며, 고-D 영역에서 PCA가 도움을 준다.
• 보정 결과 CIN 후방 커버리지가 명목 수준을 초과하여 미지 K 시나리오에서 K에 대한 신뢰할 수 있는 불확실성 추정이 가능함을 시사한다.
• 비교 연구에서 반복적 교차 주의, 데이터 다양성의 우선순위, 분리된 최적화가 모두 기본값 대비 성능 향상에 기여한다.