[論文レビュー] Tabular Few-Shot Generalization Across Heterogeneous Feature Spaces

Max Zhu, Katarzyna Kobalczyk+5 more|arXiv (Cornell University)|Nov 16, 2023

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

FLATは、データセットとカラムの埋め込みを用いたメタラーニングアプローチにより、異種の特徴空間を持つデータセット間で一般化する、表形式データ向けの新しい少サンプル学習フレームワークを提案する。グラフ自己注意ネットワーク（GAT）デコーダーを活用することで、順列不変で動的な特徴関係モデリングを実現し、118個のUCIデータセットで最先端の性能を達成した。特に、少サンプルおよび不均衡な設定で優れた性能を示した。

ABSTRACT

Despite the prevalence of tabular datasets, few-shot learning remains under-explored within this domain. Existing few-shot methods are not directly applicable to tabular datasets due to varying column relationships, meanings, and permutational invariance. To address these challenges, we propose FLAT-a novel approach to tabular few-shot learning, encompassing knowledge sharing between datasets with heterogeneous feature spaces. Utilizing an encoder inspired by Dataset2Vec, FLAT learns low-dimensional embeddings of datasets and their individual columns, which facilitate knowledge transfer and generalization to previously unseen datasets. A decoder network parametrizes the predictive target network, implemented as a Graph Attention Network, to accommodate the heterogeneous nature of tabular datasets. Experiments on a diverse collection of 118 UCI datasets demonstrate FLAT's successful generalization to new tabular datasets and a considerable improvement over the baselines.

研究の動機と目的

• 表形式データに対して有効な少サンプル学習手法が不足している現状に取り組む。これは、しばしばラベル付き例が限られ、特徴空間が異なるためである。
• 表形式少サンプル学習における課題、すなわち順列不変性の欠如、共有される特徴意味の欠如、異種のカラム関係に対処する。
• 異なる特徴集合を持つデータセット間で知識を転送できるように、データセットおよびそのカラムの共有低次元埋め込みを学習する。
• 特徴空間が著しく異なる状況でも、最小限のラベル付き例で未学習のデータセットに一般化できるメタラーニングフレームワークを設計する。
• 医療や金融分野で一般的な実世界の課題である不均衡データセットにおける性能を向上させる。

提案手法

• FLATは、メタネットワークが、少数のラベル付きサポートセットに基づいてターゲットネットワークの重みを生成するメタラーニングフレームワークを採用する。
• Dataset2Vecにインspiredされたデータセットエンコーダーは、全体のデータセットおよび個々のカラムの低次元埋め込みを学習し、異種の特徴空間間での知識共有を可能にする。
• ターゲットネットワークは、カラム間の関係を動的にモデリングするグラフ自己注意ネットワーク（GAT）であり、順列不変性を保証するとともに、変動するカラムセットに適応可能である。
• デコーダーネットワークは、埋め込みされたメタデータを用いて、GATのタスク固有の重みを生成し、新しいタスクに動的に適応可能にする。
• モデルは、118個のUCIデータセットの多様なセット上でエンドツーエンドに訓練され、メタネットワークは、異なる特徴構成を持つタスク間で一般化する能力を学習する。
• FLATadaptは、改善されたバージョンであり、摂動を加えたグリッド型の合成タスクを用いてメタネットワークを微調整することで、意思決定境界の整合性を高め、少サンプルタスクでの性能を向上させる。

Figure 1: Overview of the FLAT architecture, highlighting its three key components: (1—dataset encoder $\mathcal{F}$ with the column encoder $\mathcal{G}$ , (2)—weight generating decoder network $\mathcal{H}$ and (3)—the target GAT network $\Phi$ . (1) and (2) together form the meta network.

実験結果

リサーチクエスチョン

• RQ1 特徴空間がまったく異なる表形式データセット間で、少サンプル学習モデルが効果的に一般化できるか？
• RQ2 メタデータセットが著しく不均衡な場合、モデルの性能はどの程度か？（これは実世界で一般的な状況である。）
• RQ3 メタタスクとターゲットタスクとの間の構造的類似性が、モデルにどの程度の利益をもたらすか？
• RQ4 1クラスあたり1つのラベル付き例しか与えられない状況で、モデルが正確な予測ができるか？
• RQ5 グラフ自己注意と共有埋め込みを用いることで、標準の少サンプルベースラインと比較して、一般化性能がどの程度向上するか？

主な発見

• FLATは、1クラスあたり3、5、10個のラベル付き例を持つ少サンプル設定において、118個のUCIデータセットで既存のベースラインを顕著に上回った。
• FLATadaptの微調整戦略により、ベースライン比で最大1.25パーセンテージポイントの向上を達成した。特に、少サンプル環境下で顕著な改善が見られた。
• 不均衡なメタデータセットに対しても、FLATは強いロバストネスを示し、陽性クラスと陰性クラスの比率が著しく偏っても、ベースラインを上回った。
• 1クラスあたり1つのラベル付き例しか与えられない状況でも、意味のある意思決定境界を効果的に学習した。これは、前向きな知識獲得の有効性を示している。
• N^{meta}=3, 5, 10の各条件下で、すべてのベースラインの中で最高の平均正答率を達成した。N^{meta}=15でも競争力のある性能を維持した。
• メタタスクとダウンストリームタスクとの間で構造的関係が共有されている場合、性能向上が最も顕著に現れ、少サンプル一般化におけるタスク類似性の重要性を裏付けた。

Figure 2: Median model ranks based on accuracy over 29 medical datasets (Left) and all 118 UCI datasets (Right)