[论文解读] LORM: Learning to Optimize for Resource Management in Wireless Networks with Few Training Samples

Yifei Shen, Yuanming Shi+2 more|arXiv (Cornell University)|Dec 18, 2018

IoT and Edge/Fog Computing参考文献 29被引用 6

一句话总结

本文提出LORM，一种少样本学习框架，通过模仿学习优化无线网络中的资源管理，通过在分支定界算法中学习剪枝策略，仅用极少的训练数据即可实现接近最优的性能。此外，本文还引入LORM-TL，一种迁移学习方法，仅需少量无标签样本即可适应新的网络条件，克服了任务不匹配问题，在速度和可行性方面优于传统方法。

ABSTRACT

Effective resource management plays a pivotal role in wireless networks, which, unfortunately, results in challenging mixed-integer nonlinear programming (MINLP) problems in most cases. Machine learning-based methods have recently emerged as a disruptive way to obtain near-optimal performance for MINLPs with affordable computational complexity. There have been some attempts in applying such methods to resource management in wireless networks, but these attempts require huge amounts of training samples and lack the capability to handle constrained problems. Furthermore, they suffer from severe performance deterioration when the network parameters change, which commonly happens and is referred to as the task mismatch problem. In this paper, to reduce the sample complexity and address the feasibility issue, we propose a framework of Learning to Optimize for Resource Management (LORM). Instead of the end-to-end learning approach adopted in previous studies, LORM learns the optimal pruning policy in the branch-and-bound algorithm for MINLPs via a sample-efficient method, namely, imitation learning. To further address the task mismatch problem, we develop a transfer learning method via self-imitation in LORM, named LORM-TL, which can quickly adapt a pre-trained machine learning model to the new task with only a few additional unlabeled training samples. Numerical simulations will demonstrate that LORM outperforms specialized state-of-the-art algorithms and achieves near-optimal performance, while achieving significant speedup compared with the branch-and-bound algorithm. Moreover, LORM-TL, by relying on a few unlabeled samples, achieves comparable performance with the model trained from scratch with sufficient labeled samples.

研究动机与目标

• 解决现有基于机器学习的无线资源管理优化方法存在的高样本复杂度问题。
• 克服无线网络中常见的约束混合整数非线性规划（MINLP）问题中的可行性问题。
• 通过实现对新设置的快速适应，缓解因网络参数（如用户数或SINR）变化导致的性能下降问题。
• 开发一种样本高效框架，使其泛化能力超越训练数据规模，并在计算成本低的情况下保持接近最优的性能。
• 通过减少对大规模标注数据集的依赖并提高对动态环境的鲁棒性，实现机器学习在无线网络中的实际部署。

提出的方法

• LORM采用模仿学习，仅使用少量标注的问题实例，训练神经网络以模仿分支定界算法中MINLP的最优剪枝策略。
• 该框架利用分支定界搜索树的结构特性来引导策略学习，确保约束可行性并减少样本需求。
• LORM-TL引入自模仿迁移学习，通过仅使用少量来自新任务的无标签样本对预训练模型进行微调，实现快速适应。
• 该方法将剪枝决策建模为策略网络，根据节点特征和树的深度选择在搜索树中探索或剪枝哪些节点。
• 设计了奖励函数，以鼓励探索有希望的分支并尽早剪枝次优分支，从而在保持最优性的同时最小化计算成本。
• 该框架在用户数和SINR水平变化的OFDMA资源分配问题上进行了评估，展示了其可扩展性和鲁棒性。

实验结果

研究问题

• RQ1 机器学习模型是否仅用少量训练样本即可在无线网络资源管理中实现接近最优的性能？
• RQ2 在无线网络的MINLP端到端学习优化中，如何保证约束可行性？
• RQ3 预训练模型是否可以无需从头开始训练，即可有效适应新的网络条件（如不同用户数或SINR水平）？
• RQ4 与端到端学习相比，利用分支定界算法的结构是否能提高样本效率？
• RQ5 通过自模仿的迁移学习是否能减少动态无线网络场景中对标注数据的需求？

主要发现

• LORM仅需100至500个训练样本即可实现接近最优的性能，与以往端到端学习方法相比，显著降低了数据需求（后者通常需要数百万个样本）。
• 对于L=10、K=15且TSINR=0的系统，LORM将解的求解时间缩短至0.118秒，相比标准分支定界算法（1.098秒）提速90%。
• LORM-TL在仅使用10至50个无标签样本进行微调的情况下，性能可与从头训练的模型相媲美。
• 在用户数和SINR变化的动态环境中，LORM-TL即使在测试环境与训练环境不同时，性能仍保持在最优解的0.63%以内。
• 当剪枝概率ε₁ ≤ 0.5时，LORM探索的节点数期望值呈O(L²)增长；当ε₁ ≤ 0.3时，呈O(L)增长，表明其具有强大的计算效率。
• 该框架通过在分支定界框架内学习剪枝策略，保证了约束可行性，而端到端方法通常会违反约束。