[論文レビュー] TabClustPFN: A Prior-Fitted Network for Tabular Data Clustering

Tianqi Zhao, Guanyang Wang+2 more|arXiv (Cornell University)|Jan 29, 2026

Bayesian Methods and Mixture Models被引用数 0

ひとこと要約

TabClustPFN は、サンプル間順序不変の SoftARI 目的関数を用いて一回のパスでクラスタ割当と基数を同時推定する、事前データ適合型ネットワークによる教師なしタブラークラスタリングを提案し、44 データセットの実世界ベンチマークで最先端の結果を達成します。

ABSTRACT

Clustering tabular data is a fundamental yet challenging problem due to heterogeneous feature types, diverse data-generating mechanisms, and the absence of transferable inductive biases across datasets. Prior-fitted networks (PFNs) have recently demonstrated strong generalization in supervised tabular learning by amortizing Bayesian inference under a broad synthetic prior. Extending this paradigm to clustering is nontrivial: clustering is unsupervised, admits a combinatorial and permutation-invariant output space, and requires inferring the number of clusters. We introduce TabClustPFN, a prior-fitted network for tabular data clustering that performs amortized Bayesian inference over both cluster assignments and cluster cardinality. Pretrained on synthetic datasets drawn from a flexible clustering prior, TabClustPFN clusters unseen datasets in a single forward pass, without dataset-specific retraining or hyperparameter tuning. The model naturally handles heterogeneous numerical and categorical features and adapts to a wide range of clustering structures. Experiments on synthetic data and curated real-world tabular benchmarks show that TabClustPFN outperforms classical, deep, and amortized clustering baselines, while exhibiting strong robustness in out-of-the-box exploratory settings. Code is available at https://github.com/Tianqi-Zhao/TabClustPFN.

研究の動機と目的

• 文脈内学習を活用した dataset-specific 最適化なしで PFN 問題としてのクラスタリングを動機付ける。
• 未知のクラスタ数とラベルスイッチングに対処するための共開発された事前分布、目的関数、アーキテクチャを設計する。
• クラスタ割当と基数を別々に推定するデカップルドなアーキテクチャを開発する。
• クラスタリングタスクにおけるラベル順序の規約を避けるための順序不変な損失を提案する。

提案手法

• 実タブラー幾何を捉えるための GMM ベースおよび iResNet 変換 (ZEUS) クラスタ分布を組み合わせたハイブリッド事前学習。
• Partition Inference Network (PIN) は transformer エンコーダと反復的クロスアテンションを用いて、与えられた K に対するソフトクラスタ割当を学習する。
• Cardinality Inference Network (CIN) は PIN 出力の候補 K に対するグラム行列要約から p(K|X) を推定する。
• SoftARI: ラベル順序を前提としない、PIN のための微分可能で順序不変な損失。
• PIN の学習を安定化させるために CIN を真の K に対してクロスエントロピーで訓練し、デカップルド最適化スキームを用いて学習を安定化。
• 事前から生成された合成データセット上で joint posterior p(K,Z|X) を近似するための事前学習。

実験結果

リサーチクエスチョン

• RQ1 未知のクラスタ数を持つ教師なしクラスタリングへ PFN を拡張できるか（データセット特有の最適化なしで）？
• RQ2 1 回のフォワードパスで分割構造とクラスタ数をどのように同時推定できるか？
• RQ3 順序不変の訓練目的は、ラベル順序の規約なしにクラスタリング品質を改善するか？
• RQ4 prior データの多様性が未知K シナリオで実世界タブラーデータへの一般化にどの程度影響するか？
• RQ5 提案された TabClustPFN は、見たことのない合成レジームおよび大きな N と D にどの程度一般化するか？

主な発見

• TabClustPFN は、既知および未知の K 設定を含む厳選された 44 実世界タブラーのベンチマークで最先端のクラスタリング性能を達成。
• デカップルドな PIN-CIN アーキテクチャは、単一パスでクラスタ割当と基数を効果的に推定し、CIN がキャリブレーションされた K 後方分布推定を提供。
• SoftARI は、ラベルマッチングを明示的に行うクロスエントロピーよりも良いまたは同等のクラスタリング品質を示し、事前学習コストを削減。
• TabClustPFN は、より大きな N および D への一般化が強く、外れサンプル検証で高い ARI と低い k-MAE を維持し、高 D 状態で PCA が有効。
• キャリブレーション結果は CIN 後方分布のカバレッジが名目レベルを超えることを示し、未知 K シナリオでの K の信頼できる不確実性推定を示唆。
• アブレーション研究は、反復的クロスアテンション、データ多様性の優先、デカップルド最適化のすべてがベースラインよりも性能向上に寄与することを示す。