[論文レビュー] On the Power of Source Screening for Learning Shared Feature Extractors

Wang, Leo Muxing, Connor Mclaughlin+1 more|arXiv (Cornell University)|Feb 18, 2026

Domain Adaptation and Few-Shot Learning被引用数 0

ひとこと要約

慎重にデータソースをスクリーニングして情報価値のあるサブポピュレーションを形成することで、共有線形表現のサブスペース学習をミンimax最適化できる。大量データを捨てても適切な理論、アルゴリズム、合成・実データによる実証を提示する。

ABSTRACT

Learning with shared representation is widely recognized as an effective way to separate commonalities from heterogeneity across various heterogeneous sources. Most existing work includes all related data sources via simultaneously training a common feature extractor and source-specific heads. It is well understood that data sources with low relevance or poor quality may hinder representation learning. In this paper, we further dive into the question of which data sources should be learned jointly by focusing on the traditionally deemed ``good'' collection of sources, in which individual sources have similar relevance and qualities with respect to the true underlying common structure. Towards tractability, we focus on the linear setting where sources share a low-dimensional subspace. We find that source screening can play a central role in statistically optimal subspace estimation. We show that, for a broad class of problem instances, training on a carefully selected subset of sources suffices to achieve minimax optimality, even when a substantial portion of data is discarded. We formalize the notion of an informative subpopulation, develop algorithms and practical heuristics for identifying such subsets, and validate their effectiveness through both theoretical analysis and empirical evaluations on synthetic and real-world datasets.

研究の動機と目的

• 共有表現学習において、どのデータソースを共同学習対象とするべきかを動機づける。
• 情報価値のあるソースのサブポピュレーションの概念を定式化する。
• 良好なソースサブセットを特定するためのアルゴリズムと実用的ヒューリスティクスを開発する。
• 適切に選択されたサブポピュレーションで訓練した場合のミンimax最適なサブスペース推定を証明する。
• 合成データと実データでソーススクリーニングを実証的に検証する。

提案手法

• M 個のソースに跨る低次元の共有サブスペースを持つ線形モデルを研究する。
• 多様性行列 D を定義し、固有値を分析してソースの多様性を捉える。
• 慎重に選択されたサブセット S で訓練するとミンimaxレートを達成できることを証明する；遺伝子（ジーニー）支援の選択アルゴリズムを提示する。
• 実用的ヒューリスティクスと、ソーススクリーニングの代理として観測可能な代理指標を用いた実証的アルゴリズムを導入する。
• 理論的保証（定理1～5）を提供し、安定ランクと Bourgain–Tzafriri の結果と関連付ける。
• ソーススクリーニングと全データ統合を比較する合成・実データ実験で検証する。

Figure 1 : Subspace reconstruction error ( $||\mathrm{sin}(B^{*},\widehat{B})||$ ) in a clustered setting. While pooling the full population maximizes sample size, uneven representation introduces bias. Conversely, a smaller balanced subset recovers the latent basis more effectively across all teste

実験結果

リサーチクエスチョン

• RQ1 ソースのサブポピュレーションがミンimax最適サブスペース学習に十分か？
• RQ2 多くのソースを捨ててもスクリーニングは統計的レートを改善できるか？
• RQ3 実用的制約の下で情報価値のあるソースサブセットを特定する principled なアルゴリズムは？
• RQ4 遺伝子支援選択と実証的代理指標は良いサブポピュレーションを特定する際にどの程度性能が違うか？
• RQ5 ソースの多様性とデータのバランスがサブスペース推定の精度に与える影響は？

主な発見

• 適切な条件下で、ほとんどのソースを捨ててもサブスペース推定をミンimax最適化できるソースのサブセットが存在する。
• 各ソースパラメータの多様性（スペクトラム）が推定誤差の境界を支配し、バランスを取り多様なソースを選択すると誤差が引き締まる。
• ジーニー支援のサブセット選択は最適レートを達成するが、実用的ヒューリスティクスと実証的アルゴリズムはこの性能を概算する。
• 実証結果は、スクリーニングが全母集団での学習よりサブスペース再構成誤差の面で優れていることを合成シナリオで示す。
• 最小固有値が有界であるとき、サブポピュレーションの存在は保証される。
• 選択されたソース間で表現をバランスさせると、全データを用いるより再構成が良くなることが多い。

Figure 2 : (Left) Performance on Clustered $\alpha_{i}$ setting. (Right) Performance on Heterogeneous Gaussian $\alpha_{i}$ setting.