[论文解读] Identifying the root cause of cable network problems with machine learning

Georg Heiler, Thassilo Gadermaier+3 more|arXiv (Cornell University)|Mar 9, 2022

Advanced Photonic Communication Systems被引用 5

一句话总结

本文提出一种机器学习方法，用于自动识别混合光纤同轴（HFC）电缆网络中上游高噪声事件的根本原因，结合主动网络测量（PNM）数据与一种新颖的标签生成流程。通过用LightGBM模型替代简单的业务规则（即事件前最大发射功率变化），该方法将precision@1提升至2.3倍，显著缩短技术人员排查时间，实现更快的故障修复。

ABSTRACT

Good quality network connectivity is ever more important. For hybrid fiber coaxial (HFC) networks, searching for upstream high noise in the past was cumbersome and time-consuming. Even with machine learning due to the heterogeneity of the network and its topological structure, the task remains challenging. We present the automation of a simple business rule (largest change of a specific value) and compare its performance with state-of-the-art machine-learning methods and conclude that the precision@1 can be improved by 2.3 times. As it is best when a fault does not occur in the first place, we secondly evaluate multiple approaches to forecast network faults, which would allow performing predictive maintenance on the network.

研究动机与目标

• 自动化并提升HFC网络中上游高噪声事件根本原因识别的准确性，以替代现场技术人员当前耗时的二分查找法。
• 应对HFC网络中网络异构性与拓扑复杂性带来的挑战，其中故障传播仅影响局部光纤节点区域。
• 评估机器学习模型是否能够超越基于简单手动推导的业务规则（最大发射功率变化）在引导技术人员定位真实根本原因方面的表现。
• 开发并验证一种预测性故障检测流程，可在用户受影响前预测网络故障，实现主动维护。
• 通过构建结构化训练数据标签流程，提升数据质量与标签准确性，克服自由文本解析与告警及现场工单时间相关性带来的限制。

提出的方法

• 本研究使用来自上行（US）和下行（DS）链路的主动网络测量（PNM）数据作为机器学习模型的输入特征。
• 提出一种新颖的标签生成流程，通过时间相关性将遥测告警与现场技术人员工单关联，生成训练用真实标签，因为各数据源间不存在唯一标识字段。
• 训练并比较多种机器学习模型，包括逻辑回归、XGBoost、LightGBM以及多种神经网络架构（MLP、CNN、RNN）。
• LightGBM模型因具备高精度、快速训练速度及工业场景下的可解释性，被选为最优方法。
• 另开发一个独立的预测流程，通过提前预测过高的码字误码率（CER），实现对潜在故障的预判，支持主动维护。
• 使用precision@1与多折交叉验证评估模型性能，结果按每个事件聚合。

实验结果

研究问题

• RQ1 与简单业务规则相比，机器学习模型是否能显著提升HFC网络中上游高噪声事件根本原因定位的precision？
• RQ2 复杂机器学习模型（如LightGBM、神经网络）的性能与基于事件前最大发射功率变化的基线规则相比如何？
• RQ3 能否利用机器学习在用户受影响前预测网络故障，从而在HFC网络中实现主动维护？
• RQ4 训练准确模型面临的关键数据质量挑战是什么？如何通过改进标签生成与数据采集加以缓解？
• RQ5 HFC网络的拓扑结构在多大程度上影响模型性能与可解释性？

主要发现

• LightGBM模型实现precision@1为0.902，是基线业务规则（precision@1 = 0.27）的2.3倍，显著提升技术人员定位的准确性。
• 基于神经网络的模型（MLP、CNN、RNN）precision较低（0.392–0.450），且计算成本更高，可解释性弱于LightGBM。
• 简单的业务规则（即事件前最大发射功率变化）作为强基线，但被所有测试的机器学习模型超越。
• LightGBM具备快速训练与超参数优化能力，特别适合需要迭代调优的工业部署场景。
• 本研究证明了通过提前预测高CER值实现预测性故障检测的可行性，可在用户受影响前实现主动维护。
• 通过结构化工单与基于ID的关联提升数据质量，可进一步增强模型性能，凸显未来基础设施升级的关键方向。