[论文解读] MSplit LBI: Realizing Feature Selection and Dense Estimation Simultaneously in Few-shot and Zero-shot Learning

Bo Zhao, Xinwei Sun+3 more|arXiv (Cornell University)|Jun 12, 2018

Domain Adaptation and Few-Shot Learning被引用 15

一句话总结

本文提出 MSplit LBI，一种新颖的正则化方法，将特征分解为稀疏强信号、密集弱信号和随机噪声，实现在少样本和零样本学习中同时进行特征选择与密集估计。该方法优于 L1（Lasso）和 L2（Ridge）正则化，在 Omniglot 和 SUN 数据集上实现了最先进性能，通过同时利用强信号与弱信号的贡献。

ABSTRACT

It is one typical and general topic of learning a good embedding model to efficiently learn the representation coefficients between two spaces/subspaces. To solve this task, $L_{1}$ regularization is widely used for the pursuit of feature selection and avoiding overfitting, and yet the sparse estimation of features in $L_{1}$ regularization may cause the underfitting of training data. $L_{2}$ regularization is also frequently used, but it is a biased estimator. In this paper, we propose the idea that the features consist of three orthogonal parts, \\emph{namely} sparse strong signals, dense weak signals and random noise, in which both strong and weak signals contribute to the fitting of data. To facilitate such novel decomposition, \\emph{MSplit} LBI is for the first time proposed to realize feature selection and dense estimation simultaneously. We provide theoretical and simulational verification that our method exceeds $L_{1}$ and $L_{2}$ regularization, and extensive experimental results show that our method achieves state-of-the-art performance in the few-shot and zero-shot learning.

研究动机与目标

• 为解决 L1 和 L2 正则化在少样本和零样本学习中的局限性，其中 L1 会因忽略弱信号而导致欠拟合，而 L2 会引入偏差。
• 开发一种方法，通过将特征建模为三个正交分量（强信号、弱信号和噪声），实现同时进行特征选择与精确的数据拟合。
• 从理论和实证上验证所提出的 MSplit LBI 估计器相比 L2 正则化具有更低偏差，同时具备类似 L1 的有效特征选择能力。
• 通过真实世界数据集，在少样本和零样本学习任务的线性嵌入模型中，展示 MSplit LBI 的有效性。

提出的方法

• MSplit LBI 使用新颖的优化框架，将嵌入权重分解为三个正交分量：稀疏强信号、密集弱信号和随机噪声。
• 该方法采用两阶段估计过程：首先通过稀疏正则化识别强信号，然后通过密集收缩估计弱信号，且两者均受正交性约束。
• 其公式化为一个正则化优化问题，联合最小化预测误差，同时强制三个分量之间正交。
• 该方法采用改进的 LBI（线性 Bregman 迭代）框架，高效求解非凸优化问题，实现稳定且可扩展的计算。
• 该方法被集成到少样本和零样本学习的线性嵌入模型中，其中图像特征被映射到标签或语义空间。
• 理论分析表明，MSplit LBI 估计器相比 L2 正则化具有更低偏差，且支持特征选择，结合了 L1 和 L2 的优势。

实验结果

研究问题

• RQ1 是否存在一种正则化方法，能够在少样本和零样本学习中同时实现特征选择与密集估计？
• RQ2 将特征建模为三个正交分量（强信号、弱信号和噪声）是否能提升泛化性能，超越标准的 L1 和 L2 正则化？
• RQ3 所提出的 MSplit LBI 估计器是否相比 L2 正则化具有更低偏差，同时仍能实现有效的特征选择？
• RQ4 MSplit LBI 是否能在少样本和零样本学习基准中实现最先进性能？

主要发现

• 在 Omniglot 数据集上，MSplit LBI 使用完整估计器（β）在 5 类 1 样本学习中达到 61.47% 的准确率，优于 Lasso（59.09%）和 Ridge（59.32%）。
• 在 SUN 数据集的 5 类 1 样本分类任务中，MSplit LBI（β）达到 61.47% 的准确率，相比排除弱信号的变体（β̃）提升了 2.15%。
• 在 Omniglot 数据集的 5 类 1 样本和 5 样本设置中，MSplit LBI 均优于 Lasso，仅在 20 类 1 样本设置中因降维后强信号占主导，Ridge 表现更优。
• 该方法在多个少样本和零样本学习基准上实现了最先进性能，证明了联合建模强信号与弱信号的优势。
• 理论分析确认，MSplit LBI 相比 L2 正则化具有更低偏差，且支持特征选择，结合了 L1 和 L2 的优点。
• 微调并未显著提升性能，甚至在某些情况下导致性能下降，表明线性模型结合 MSplit LBI 在无需微调的情况下依然具备鲁棒性和有效性。