[論文レビュー] Phase Transitions in Unsupervised Feature Selection

Jonathan Fiorentino, Michele Monti+4 more|arXiv (Cornell University)|Jan 31, 2026

Machine Learning in Bioinformatics被引用数 0

ひとこと要約

要約：本論文は、タンパク質特徴セットに適用した Differentiable Information Imbalance (DII) に基づく教師なし特徴選択パイプラインを分析し、特徴タイプと相関構造に依存する位相遷移様の挙動を明らかにし、臨界的な特徴数と教師あり分類性能を関連付ける。

ABSTRACT

Identifying minimal and informative feature sets is a central challenge in data analysis, particularly when few data points are available. Here we present a theoretical analysis of an unsupervised feature selection pipeline based on the Differentiable Information Imbalance (DII). We consider the specific case of structural and physico-chemical features describing a set of proteins. We show that if one considers the features as coordinates of a (hypothetical) statistical physics model, this model undergoes a phase transition as a function of the number of retained features. For physico-chemical descriptors, this transition is between a glass-like phase when the features are few and a liquid-like phase. The glass-like phase exhibits bimodal order-parameter distributions and Binder cumulant minima. In contrast, for structural descriptors the transition is less sharp. Remarkably, for physico-chemical descriptors the critical number of features identified from the DII coincides with the saturation of downstream binary classification performance. These results provide a principled, unsupervised criterion for minimal feature sets in protein classification and reveal distinct mechanisms of criticality across different feature types.

研究の動機と目的

• ラベル付きデータが乏しい場合の教師なし特徴選択を動機づける。
• DII が情報的サブセットを選択する際の秩序パラメータとしてどのように作用するかを研究する。
• 特徴セットの構造（物理化学的 vs 構造的）が情報の景観にどう影響するかを特徴づける。
• 教師なしの臨界特徴数と下流の二値分類性能の飽和点を関連付ける。

提案手法

• 特徴サブセットの教師なし秩序パラメータとして DII を定義・計算する。
• 物理化学的特徴セットと構造的特徴セットに対して DII を用いた後向き特徴削除を適用する。
• DII 値の分布を乱択サブサンプル間で分析して景観のゴツゴツさを調べる。
• 臨界的な特徴数を示す転換点を特定するために Binder カ cumulant 分析を用いる。
• 特徴数と二値分類性能 AUROC を関連付ける分類器（MLP）を訓練する。

Figure 1: Criticality in the Differentiable Information Imbalance during feature elimination. (A,B) Average DII versus the number of non-zero features $F$ for the LLPS dataset, for physico-chemical (A) and structural (B) features. (C,D) Heatmaps of the log-transformed probability density of the DII

実験結果

リサーチクエスチョン

• RQ1 DII は保持特徴数を増やすにつれて位相遷移様の挙動を示すか。
• RQ2 特徴セットの性質（物理化学的 vs 構造的）は転換の型（ガラス様 vs クロスオーバー）にどのように影響するか。
• RQ3 教師なしの臨界特徴数と下流の分類性能の飽和点に関連はあるか。
• RQ4 特徴集合の相関と分散の異質性は情報景観をどのように駆動するか。

主な発見

• 物理化学的特徴はビモーダルな DII 景観と Binder カ最小を伴うガラス様転移を示す。
• 構造的特徴はより弱く滑らかな転換またはクロスオーバーを示し、DII 分布は単峰である。
• 相関構造は物理化学的特徴の転換を駆動し、分散の異質性は構造的特徴の転換を駆動する。
• 物理化学的記述子の臨界特徴数は DII 選択特徴を用いたときの二値分類性能の飽和点と一致する。
• 高次的には、情報を有する特徴は制約下で相互作用する自由度として振る舞い、タンパク質分類における汎化性能へ臨界性を結びつける。

Figure 2: Binder cumulant analysis reveals a glass-like phase transition for physico-chemical features. (A,C) Binder cumulant $U(F)$ as a function of the number of non-zero features $F$ for physico-chemical (A) and structural (C) descriptors, for the LLPS dataset. (B,D) Extrapolation of $F_{min}$ (p