[论文解读] Feature Grouping as a Stochastic Regularizer for High-Dimensional Structured Data

Sergül Aydöre, Bertrand Thirion+1 more|arXiv (Cornell University)|Jul 31, 2018

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

该论文提出了一种随机正则化方法，通过聚类将相关特征分组，并在随机梯度下降（SGD）过程中随机应用这些分组，从而有效充当去噪正则化器。该方法在高维、小样本场景（如fMRI和人脸图像）中提升了泛化能力和收敛速度，优于$β$-正则化、Dropout和CNN，在高噪声和低数据条件下表现尤为突出。

ABSTRACT

In many applications where collecting data is expensive, for example neuroscience or medical imaging, the sample size is typically small compared to the feature dimension. It is challenging in this setting to train expressive, non-linear models without overfitting. These datasets call for intelligent regularization that exploits known structure, such as correlations between the features arising from the measurement device. However, existing structured regularizers need specially crafted solvers, which are difficult to apply to complex models. We propose a new regularizer specifically designed to leverage structure in the data in a way that can be applied efficiently to complex models. Our approach relies on feature grouping, using a fast clustering algorithm inside a stochastic gradient descent loop: given a family of feature groupings that capture feature covariations, we randomly select these groups at each iteration. We show that this approach amounts to enforcing a denoising regularizer on the solution. The method is easy to implement in many model architectures, such as fully connected neural networks, and has a linear computational cost. We apply this regularizer to a real-world fMRI dataset and the Olivetti Faces datasets. Experiments on both datasets demonstrate that the proposed approach produces models that generalize better than those trained with conventional regularizers, and also improves convergence speed.

研究动机与目标

• 解决神经影像和医学应用中常见的高维、小样本数据集的过拟合问题。
• 开发一种结构化正则化方法，利用特征相关性，且无需为复杂模型定制求解器。
• 在非凸模型（如深度神经网络）中通过SGD实现高效正则化。
• 提升模型在真实世界数据（如fMRI和人脸图像）中对噪声和样本量限制的鲁棒性。
• 提供一种计算高效、即插即用的正则化方法，与标准深度学习框架兼容。

提出的方法

• 使用快速聚类算法基于特征相关性对特征进行分组，以捕捉数据的潜在结构。
• 在每次SGD更新时随机采样这些特征组，为优化过程引入随机性。
• 将分组后的特征作为输入层的数据增强形式，有效平滑输入空间。
• 通过在特征簇上取平均，隐式地施加去噪正则化，降低对噪声特征的敏感性。
• 将正则化器集成到SGD循环中，计算成本为线性，无需架构修改。
• 该方法适用于任何模型架构（包括深度网络），并在参数数量最多的输入层上运行。

实验结果

研究问题

• RQ1 通过聚类进行特征分组是否可在高维、小样本场景中作为有效且通用的正则化方法？
• RQ2 所提出的随机正则化方法与$β$-正则化和Dropout等标准正则化方法相比，在泛化能力和收敛速度方面表现如何？
• RQ3 该方法是否能提升真实世界神经影像和视觉数据集在噪声和小样本条件下的鲁棒性？
• RQ4 该正则化方法能否在无需专用求解器的情况下高效应用于非凸模型（如深度神经网络）？
• RQ5 与现有方法相比，该方法的计算成本和内存占用有何特点？

主要发现

• 在Olivetti人脸数据集中，该特征分组正则化方法在高噪声条件下测试准确率高于$β$-正则化、Dropout和CNN，且收敛更快。
• 在HCP-small fMRI数据集中，该方法在小样本场景下优于所有基线模型，尤其在训练样本数量较少时表现更优。
• 与其它正则化方法相比，该方法学习到的权重在视觉上更少噪声，解释了其在噪声环境下的优越性能。
• 即使在高斯噪声较强的情况下，该方法仍保持高准确率，表明其对数据损坏具有强鲁棒性。
• 该正则化方法的计算成本与特征维度呈线性关系，且相比标准方法减少了内存占用。
• 尽管CNN具有平移不变性的归纳偏置，该方法在fMRI数据上仍优于CNN，表现出更好的泛化能力。