[论文解读] Model-Aided Wireless Artificial Intelligence: Embedding Expert Knowledge in Deep Neural Networks Towards Wireless Systems Optimization

Alessio Zappone, Marco Di Renzo+3 more|arXiv (Cornell University)|Aug 5, 2018

Indoor and Outdoor Localization Technologies参考文献 14被引用 16

一句话总结

本文提出了一种模型辅助的深度学习框架，将无线网络的简化理论模型与数据驱动的神经网络相结合，以减少数据需求和训练复杂度。通过使用迁移学习——在解析模型上进行预训练，并使用真实数据进行微调——该方法在显著减少实际数据量的情况下实现了接近最优的性能，展示了在5G/6G系统中优化蜂窝网络基站部署密度方面的卓越效率和准确性。

ABSTRACT

Deep learning based on artificial neural networks is a powerful machine learning method that, in the last few years, has been successfully used to realize tasks, e.g., image classification, speech recognition, translation of languages, etc., that are usually simple to execute by human beings but extremely difficult to perform by machines. This is one of the reasons why deep learning is considered to be one of the main enablers to realize the notion of artificial intelligence. In order to identify the best architecture of an artificial neural network that allows one to fit input-output data pairs, the current methodology in deep learning methods consists of employing a data-driven approach. Once the artificial neural network is trained, it is capable of responding to never-observed inputs by providing the optimum output based on past acquired knowledge. In this context, a recent trend in the deep learning community is to complement pure data-driven approaches with prior information based on expert knowledge. In this work, we describe two methods that implement this strategy, which aim at optimizing wireless communication networks. In addition, we illustrate numerical results in order to assess the performance of the proposed approaches compared with pure data-driven implementations.

研究动机与目标

• 解决纯数据驱动的深度学习在无线网络优化中带来的高数据量和计算成本问题。
• 利用现有的无线系统理论模型作为先验知识，以提高神经网络训练效率。
• 通过在简化解析模型上进行预训练，减少对真实世界数据的需求量。
• 证明将专家知识与深度学习结合，能够获得比纯数据驱动方法更优的性能-复杂度权衡。
• 探索迁移学习作为将领域特定知识嵌入无线系统深度神经网络的方法。

提出的方法

• 使用从简化、解析的功耗模型生成的合成数据对深度神经网络（DNN）进行预训练，数据分布为均匀分布。
• 使用来自正态分布的更小规模真实世界硬件功耗数据集对预训练的DNN进行微调。
• 采用具有ReLU激活函数和不同架构的多层DNN，以优化复杂度与性能之间的权衡。
• 通过将基于模型的预训练阶段知识迁移到数据驱动的微调阶段，实现迁移学习。
• 采用两阶段训练流程：先在模型生成的数据上进行初始训练，再在真实经验数据上进行优化。
• 使用均方误差（MSE）作为损失函数，用于训练、验证和测试，以评估性能。

实验结果

研究问题

• RQ1 能否有效利用无线网络的简化理论模型对深度神经网络进行预训练，从而减少对大规模真实数据集的需求？
• RQ2 在无线优化中，将解析模型中的专家知识整合进来，如何提升数据驱动深度学习的泛化能力和收敛性？
• RQ3 在采用模型辅助训练时，神经网络复杂度与性能之间的最优权衡是什么？
• RQ4 在模型生成数据上进行预训练，能在多大程度上减少有效微调所需的实测数据样本数量？
• RQ5 迁移学习技术能否被有效应用于无线网络优化问题，以提升训练效率和准确性？

主要发现

• 与纯数据驱动训练相比，模型辅助方法显著提升了学习性能，尤其是在真实数据有限的情况下。
• 使用来自简化模型的合成数据（均匀分布）进行预训练，可将所需真实数据减少高达50%，同时保持高精度。
• 具有五层隐藏层、每层8个神经元的DNN实现了接近最优的性能，其精度与更深的网络架构（128-64-32-16-8）非常接近。
• 基于模型的预训练使测试误差相比仅从真实数据开始训练的模型降低了最多40%。
• 训练和验证误差曲线显示，使用模型生成数据进行预训练后，收敛速度更快，泛化误差更低。
• 结果证实，通过迁移学习将解析模型与深度学习结合，是无线网络优化中一种可行且高效的策略。