[论文解读] Learning for Integer-Constrained Optimization through Neural Networks with Limited Training

Zhou Zhou, Shashank Jere+2 more|arXiv (Cornell University)|Nov 10, 2020

Neural Networks and Applications参考文献 30被引用 7

一句话总结

本文提出一种结构感知神经网络用于整数约束优化，利用整数变量的格子几何结构和目标函数的仿射结构。通过在从残差的概率模型生成的合成数据上进行训练，该方法在极少训练数据下实现优越的泛化性能，优于传统求解器和无线符号检测任务中的最先进神经检测器。

ABSTRACT

In this paper, we investigate a neural network-based learning approach towards solving an integer-constrained programming problem using very limited training. To be specific, we introduce a symmetric and decomposed neural network structure, which is fully interpretable in terms of the functionality of its constituent components. By taking advantage of the underlying pattern of the integer constraint, as well as of the affine nature of the objective function, the introduced neural network offers superior generalization performance with limited training, as compared to other generic neural network structures that do not exploit the inherent structure of the integer constraint. In addition, we show that the introduced decomposed approach can be further extended to semi-decomposed frameworks. The introduced learning approach is evaluated via the classification/symbol detection task in the context of wireless communication systems where available training sets are usually limited. Evaluation results demonstrate that the introduced learning strategy is able to effectively perform the classification/symbol detection task in a wide variety of wireless channel environments specified by the 3GPP community.

研究动机与目标

• 解决在极少训练数据下求解NP难的整数约束优化问题的挑战。
• 利用整数约束的内在几何结构和目标函数中的仿射映射，提高学习效率。
• 开发一种在训练样本稀少（如无线通信场景）时仍具有良好泛化能力的神经网络架构。
• 提供理论基础扎实、可解释性强的神经网络设计，并给出解析误差界。
• 在多种无线信道条件下，性能优于通用优化求解器和现有神经检测器。

提出的方法

• 该方法将整数约束优化问题建模为概率残差模型，其中残差向量 r = Hx - y 服从由目标函数 f(·) 导出的分布。
• 通过从整数集 A^N 中均匀采样 x，并利用残差分布计算 y = Hx - r，生成 K 个训练样本 (x, y)。
• 引入一种分解神经网络结构，其中 N 个独立子网络通过边缘估计分别预测 x 的每个分量，利用 H 的格子结构和 A 的步长特性。
• 将架构扩展为半分解框架，平衡性能与计算复杂度。
• 在合成数据上端到端训练网络，学习从 y 到 x 的逆映射，实现快速推理。
• 推导出泛化误差的理论界，显示其对训练集大小 K 的依赖关系为 O(1/√K)。

实验结果

研究问题

• RQ1 在有限合成数据上训练的神经网络能否有效泛化到具有复杂结构的整数约束优化问题？
• RQ2 将整数约束的格子几何结构和仿射映射引入后，与通用神经网络相比，能否显著提升泛化性能？
• RQ3 所提出的结构感知神经网络的理论泛化误差界是什么？其随训练数据量的变化规律如何？
• RQ4 在无线符号检测中，该方法与传统优化求解器和最先进神经检测器相比，性能表现如何？
• RQ5 分解神经网络架构能否扩展为半分解框架，同时保持高性能？

主要发现

• 在高斯噪声下，所提出的 A-Net 测试成功率达 87%，在 t 分布（ν=3）下为 85%，显著优于 COBYLA（L2 下为 92%，但 log-sum 下更低）和 DetNet（分别为 36% 和 32%）。
• 泛化误差随训练集大小 K 增大而减小，符合理论预测的 O(1/√K) 依赖关系，该结论通过 100 次信道快照的仿真得到验证。
• 分解神经网络结构在仅使用 K=30 个训练样本时，训练成功率 >0.99，测试成功率达 87%，展现出强大的数据效率。
• 该方法优于多种无梯度优化求解器，包括 Subplex（87%）、Nelder-Mead（89%）和 COBYLA（92%），尤其在非高斯噪声环境中表现更优。
• 半分解框架提供了性能与计算复杂度之间的灵活权衡，支持高维问题的可扩展性。
• 实验验证了解析泛化误差界的正确性，证实了误差随 K 增大而减小的理论预测。