[论文解读] Neural Networks Trained to Solve Differential Equations Learn General Representations

Martin Magill, Faisal Z. Qureshi+1 more|arXiv (Cornell University)|Jun 29, 2018

Neural Networks and Applications被引用 27

一句话总结

该论文提出了一种基于SVCCA的新方法，用于衡量在连续参数化的微分方程任务中神经网络各层的泛化能力。研究发现，早期层在输入域上学习到通用的、共享的表征，而深层则逐渐变得越来越任务特定，其结果与迁移学习基准高度一致，并在MNIST数据上得到验证。

ABSTRACT

We introduce a technique based on the singular vector canonical correlation analysis (SVCCA) for measuring the generality of neural network layers across a continuously-parametrized set of tasks. We illustrate this method by studying generality in neural networks trained to solve parametrized boundary value problems based on the Poisson partial differential equation. We find that the first hidden layers are general, and that they learn generalized coordinates over the input domain. Deeper layers are successively more specific. Next, we validate our method against an existing technique that measures layer generality using transfer learning experiments. We find excellent agreement between the two methods, and note that our method is much faster, particularly for continuously-parametrized problems. Finally, we also apply our method to networks trained on MNIST, and show it is consistent with, and complimentary to, another study of intrinsic dimensionality.

研究动机与目标

• 开发一种快速、可扩展的方法，用于衡量神经网络在连续参数化任务中各层的泛化能力。
• 研究在训练神经网络求解由Poisson PDE控制的参数化边值问题时，表征学习在各层中的演化过程。
• 将所提方法与现有的基于迁移学习的泛化度量方法进行对比，特别是在连续任务设置下的表现。
• 探索在标准视觉基准（如MNIST）中是否也存在相同的泛化模式，并将其与固有维度性研究结果关联。

提出的方法

• 将奇异向量典型相关分析（SVCCA）应用于比较训练于参数化PDE任务不同实例的神经网络各层的特征表征。
• 使用SVCCA计算Poisson方程不同参数值下各层表征之间的相似性，量化表征的不变性或泛化程度。
• 将基于SVCCA的泛化得分与迁移学习实验所得结果进行比较，建立验证基准。
• 将该方法应用于PDE求解网络和标准MNIST训练网络，以检验其与固有维度性研究的一致性与互补性。
• 通过计算给定层与参考层（如第一隐层）在多个任务中各层表征的SVCCA相似性，分析各层的泛化能力。
• 在Poisson PDE中采用边界条件的连续参数化，以建模平滑变化的任务分布，从而实现对表征演化过程的细粒度分析。

实验结果

研究问题

• RQ1 在求解一族参数化Poisson边值问题时，神经网络表征的泛化能力如何随网络深度变化？
• RQ2 基于SVCCA的泛化度量能否可靠地检测到早期层中的共享通用表征，以及深层中任务特定的表征？
• RQ3 在连续任务族中，所提出的基于SVCCA的方法在性能和准确性上与基于迁移学习的泛化估计相比如何？
• RQ4 在PDE求解网络中观察到的泛化模式是否也出现在标准视觉基准（如MNIST）中？其结果与固有维度性研究发现是否一致？

主要发现

• 训练用于求解参数化Poisson PDE的神经网络的第一隐层表现出高度泛化性，学习到输入域上的广义坐标。
• 深层表征逐渐变得对特定任务更加依赖，表明表征学习具有层次化组织结构。
• 基于SVCCA的泛化度量与基于迁移学习的方法高度一致，验证了其可靠性。
• 所提方法显著快于迁移学习，尤其适用于连续参数化问题，使其适用于高维任务空间。
• 在MNIST上应用时，PDE求解网络中观察到的泛化模式与固有维度性研究结果一致，表明二者可提供互补见解。
• 该方法成功识别出网络深度上从通用到特定表征的清晰转变，支持了层次化特征学习的假设。