[论文解读] Migrating Knowledge between Physical Scenarios based on Artificial Neural Networks

Yurui Qu, Li Jing+3 more|arXiv (Cornell University)|Aug 27, 2018

Neural Networks and Reservoir Computing参考文献 23被引用 5

一句话总结

本文提出一种基于人工神经网络的迁移学习框架，用于在小样本物理问题中提升预测精度。通过在相似或不相似的物理场景（如多层膜与核壳纳米颗粒）之间迁移知识，该方法将相对误差降低高达50.5%，表明迁移学习捕捉的是底层物理规律，而非仅正则化效应。

ABSTRACT

Deep learning is known to be data-hungry, which hinders its application in many areas of science when datasets are small. Here, we propose to use transfer learning methods to migrate knowledge between different physical scenarios and significantly improve the prediction accuracy of artificial neural networks trained on a small dataset. This method can help reduce the demand for expensive data by making use of additional inexpensive data. First, we demonstrate that in predicting the transmission from multilayer photonic film, the relative error rate is reduced by 46.8% (26.5%) when the source data comes from 10-layer (8-layer) films and the target data comes from 8-layer (10-layer) films. Second, we show that the relative error rate is decreased by 22% when knowledge is transferred between two very different physical scenarios: transmission from multilayer films and scattering from multilayer nanoparticles. Finally, we propose a multi-task learning method to improve the performance of different physical scenarios simultaneously in which each task only has a small dataset.

研究动机与目标

• 解决在数据量小且生成成本高的情况下，深度学习在物理问题中表现不佳的挑战。
• 探究从一个物理场景中学到的知识是否能有效迁移到另一个场景，即使两者差异显著。
• 证明迁移学习带来的性能提升超越了L2、L1或Dropout等标准正则化技术。
• 开发一种多任务学习方法，以同时提升多个相关物理问题的性能，每个问题均仅有有限数据。
• 验证性能提升源于共享物理原理的学习，而非正则化效应。

提出的方法

• 在源物理场景（如10层多层膜的透射）上训练深层神经网络架构，该场景具有丰富且低成本的数据。
• 将预训练源网络的知识迁移至目标网络，用于不同的但相关的物理场景，如8层膜或纳米颗粒的散射。
• 在相似场景（如不同层数的膜）和不相似场景（如透射与散射）之间应用迁移学习，利用共享特征表示。
• 实施多任务学习框架，同时训练多个相关物理任务，共享网络的低层参数以提升泛化能力。
• 使用网格搜索识别网络中最佳的通用层与特定层，以避免负迁移。
• 对基线模型应用正则化技术（L2、L1、Dropout），以检验性能提升是否源于正则化或真正的知识迁移。

实验结果

研究问题

• RQ1 当训练数据有限时，迁移学习是否能显著降低物理问题中的预测误差？
• RQ2 在物理上截然不同的系统之间（如多层膜的透射与纳米颗粒的散射）进行知识迁移，是否仍能带来性能提升？
• RQ3 多任务学习能否同时提升多个小样本物理问题的预测精度？
• RQ4 迁移学习带来的性能提升是源于共享物理原理的学习，还是仅因正则化效应？
• RQ5 在迁移无关物理场景之间的知识时，如何最小化负迁移？

主要发现

• 当知识从10层膜迁移到8层膜时，相对误差率降低了50.5%；反向迁移（8层到10层）也降低了23.7%。
• 即使在截然不同的物理场景之间——如多层膜的透射与核壳纳米颗粒的散射——迁移学习也将相对误差率降低了19.7%。
• 多任务学习将14层膜的光谱误差降低了最多27.1%，且在所有测试的层数中均表现出一致的改进。
• 该迁移学习框架在性能上优于直接学习中采用L2、L1或Dropout正则化的基线模型，其中L2正则化误差率为3.3%，而直接学习为6.6%。
• Dropout在直接学习和迁移学习中均导致性能下降，表明性能提升并非源于正则化，而是真实的知识迁移。
• 该框架在多种物理系统中均显著降低误差，证明其捕捉的是底层物理规律，而非依赖统计正则化。