[论文解读] How Deep Neural Networks Learn Compositional Data: The Random Hierarchy Model

Francesco Cagnetta, Leonardo Petrini+3 more|arXiv (Cornell University)|Jul 5, 2023

Domain Adaptation and Few-Shot Learning参考文献 56被引用 4

一句话总结

本文提出了随机层次模型（RHM），一种合成框架，用于研究深度神经网络如何通过层次特征组合学习组合性数据。结果表明，深度网络通过学习等价子特征的不变表示，克服了维度灾难，且样本复杂度呈多项式增长，P∗ ≈ n_c m^L，该值与低层次特征与类别之间相关性可检测的临界点一致。

ABSTRACT

Deep learning algorithms demonstrate a surprising ability to learn high-dimensional tasks from limited examples. This is commonly attributed to the depth of neural networks, enabling them to build a hierarchy of abstract, low-dimensional data representations. However, how many training examples are required to learn such representations remains unknown. To quantitatively study this question, we introduce the Random Hierarchy Model: a family of synthetic tasks inspired by the hierarchical structure of language and images. The model is a classification task where each class corresponds to a group of high-level features, chosen among several equivalent groups associated with the same class. In turn, each feature corresponds to a group of sub-features chosen among several equivalent ones and so on, following a hierarchy of composition rules. We find that deep networks learn the task by developing internal representations invariant to exchanging equivalent groups. Moreover, the number of data required corresponds to the point where correlations between low-level features and classes become detectable. Overall, our results indicate how deep networks overcome the curse of dimensionality by building invariant representations, and provide an estimate of the number of data required to learn a hierarchical task.

研究动机与目标

• 理解深度神经网络学习层次化、组合性数据结构所需的样本复杂度。
• 研究尽管输入空间维度很高，深度网络为何仍能良好泛化，而传统方法面临维度灾难。
• 刻画层次特征组合以及对等价子特征的不变性在实现高效学习中的作用。
• 确定深度网络的样本复杂度是否与低层次特征和类别标签之间的可检测相关性相吻合。

提出的方法

• 提出随机层次模型（RHM），一种具有层次化特征组合的合成分类任务：类别 → 高层次特征 → 子特征 → 低层次特征，每一层均有 m 个等价表示。
• 通过随机分配等价子特征到高层次特征，建模结构随机性，同时保持组合层次结构。
• 在 RHM 数据上训练深度神经网络（CNN 和 MLP）以及核方法（NTK），比较不同架构的泛化行为。
• 将样本复杂度 P∗ 定义为测试误差显著下降时的训练样本数量，并将其与可检测的特征-类别相关性进行关联。
• 在逐层训练中应用 k-means 聚类和正交化，分析内部表示的不变性。
• 通过最近邻距离估计隐藏表示的有效维度，追踪各层间维度降低的过程。

实验结果

研究问题

• RQ1 使用深度神经网络学习层次化、组合性任务的样本复杂度 P∗ 是多少？
• RQ2 样本复杂度 P∗ 是否对应于低层次特征与类别标签之间的相关性开始可检测的点？
• RQ3 网络学习等价子特征不变表示的能力如何影响样本效率？
• RQ4 为何深度网络在学习层次化任务时优于浅层网络和核方法？
• RQ5 深度和架构（CNN 与 MLP 与核方法）如何影响样本复杂度和泛化行为？

主要发现

• 样本复杂度 P∗ 按多项式形式增长，P∗ ≈ n_c m^L，其中 n_c 为类别数，m 为等价子特征数，L 为层次深度。
• P∗ 与低层次特征和类别标签之间相关性可统计检测的训练样本数量一致。
• 深度网络学习到对等价子特征交换保持不变的内部表示，从而实现维度降低和高效学习。
• 在懒惰模式（NTK）下，核方法受维度灾难影响，无法收敛至零误差，而特征学习型深度网络则可以。
• 采用聚类和正交化进行逐层训练相比端到端训练具有 √v 的优势，表明层次不变性是样本效率的关键。
• 内部表示的有效维度在各层间单调递减，证实深度网络降低了有效输入维度。