[论文解读] Composite Neural Network: Theory and Application to PM2.5 Prediction

Ming-Chuan Yang, Meng Chang Chen|arXiv (Cornell University)|Oct 22, 2019

Air Quality Monitoring and Forecasting参考文献 37被引用 5

一句话总结

本文提出一种复合神经网络框架，将预训练的、非实例化的神经网络组件整合到有根有向无环图中，以提升复杂任务的性能。通过冻结预训练模型的权重并仅训练组件间的连接，该方法在统计上保证了相对于单个组件的性能提升，经PM2.5预测任务验证，其精度优于基线模型。

ABSTRACT

This work investigates the framework and performance issues of the composite neural network, which is composed of a collection of pre-trained and non-instantiated neural network models connected as a rooted directed acyclic graph for solving complicated applications. A pre-trained neural network model is generally well trained, targeted to approximate a specific function. Despite a general belief that a composite neural network may perform better than a single component, the overall performance characteristics are not clear. In this work, we construct the framework of a composite network, and prove that a composite neural network performs better than any of its pre-trained components with a high probability bound. In addition, if an extra pre-trained component is added to a composite network, with high probability, the overall performance will not be degraded. In the study, we explore a complicated application -- PM2.5 prediction -- to illustrate the correctness of the proposed composite network theory. In the empirical evaluations of PM2.5 prediction, the constructed composite neural network models support the proposed theory and perform better than other machine learning models, demonstrate the advantages of the proposed framework.

研究动机与目标

• 开发一个理论基础坚实的框架，将预训练神经网络组合成单一、更精确的模型，以应对复杂应用。
• 通过实现异构组件的集成并提供性能保证，解决集成学习和迁移学习的局限性。
• 通过重用已训练良好的模型而不重新训练其权重，降低训练成本和数据依赖性。
• 在PM2.5预测任务上实证验证该框架，该任务为复杂、多因素的环境预测问题。
• 提供一种灵活、可扩展的架构，支持新数据和领域知识的增量集成。

提出的方法

• 将复合神经网络构建为预训练的、非实例化的神经网络组件的有根有向无环图（DAG）。
• 冻结预训练组件的权重，以保留其学习到的表征并减少训练开销。
• 仅使用反向传播训练组件间连接的权重（边），实现对复合结构的端到端优化。
• 在组件之间使用可微分激活函数，以支持梯度流动，并实现复合系统的联合学习。
• 在假设A1–A4下进行理论分析，证明当有足够的训练数据时，复合网络在高概率下优于所有单个组件。
• 使用真实世界空气质量数据在PM2.5预测任务上验证该框架，与标准机器学习和深度学习基线模型进行性能比较。

实验结果

研究问题

• RQ1 由预训练模型组成的复合神经网络是否能在高概率下实现优于任一单个组件的性能？
• RQ2 如何有效将异构的、预训练的神经网络组件整合到一个统一的模型中，以应对复杂任务？
• RQ3 能够为复合网络相对于其组件的性能提升提供哪些理论保证？
• RQ4 在添加更多组件后，性能提升在何种条件下会趋于饱和？
• RQ5 与集成学习和迁移学习相比，该框架在灵活性和鲁棒性方面表现如何？

主要发现

• 在足够训练数据和假设A1–A4成立的条件下，复合神经网络框架在统计上保证了对所有单个预训练组件的性能提升。
• 在PM2.5预测任务上的实证评估表明，复合模型在精度上优于标准机器学习模型和端到端深度学习基线模型。
• 通过冻结预训练组件的权重并仅训练组件间连接，该方法显著降低了训练时间和计算成本。
• 该方法对组件异质性表现出鲁棒性，支持集成多种不同领域、不同架构的模型，而无需统一的网络结构或训练数据。
• 当添加的组件超过某一临界数量后，性能增益开始减弱，表明复杂性与性能提升之间存在权衡。
• 该方法有效缓解了集成学习中常见的负面迁移和多样性不足问题，提供了更可靠的性能提升。