[论文解读] Augment with Care: Contrastive Learning for Combinatorial Problems

Haonan Duan, Pashootan Vaezipoor+3 more|arXiv (Cornell University)|Feb 17, 2022

Advanced Graph Neural Networks被引用 5

一句话总结

本文提出了一种带有标签保持性数据增强的对比自监督学习方法，用于组合优化问题，特别是布尔可满足性问题（SAT）。通过利用变量消除和子句归结等已知不变量生成保持可满足性的增强数据，该方法仅使用1%的标签，即可实现与完全监督学习相当的性能，同时在未见问题领域中展现出更优的迁移能力。

ABSTRACT

Supervised learning can improve the design of state-of-the-art solvers for combinatorial problems, but labelling large numbers of combinatorial instances is often impractical due to exponential worst-case complexity. Inspired by the recent success of contrastive pre-training for images, we conduct a scientific study of the effect of augmentation design on contrastive pre-training for the Boolean satisfiability problem. While typical graph contrastive pre-training uses label-agnostic augmentations, our key insight is that many combinatorial problems have well-studied invariances, which allow for the design of label-preserving augmentations. We find that label-preserving augmentations are critical for the success of contrastive pre-training. We show that our representations are able to achieve comparable test accuracy to fully-supervised learning while using only 1% of the labels. We also demonstrate that our representations are more transferable to larger problems from unseen domains. Our code is available at https://github.com/h4duan/contrastive-sat.

研究动机与目标

• 为解决布尔可满足性（SAT）等NP完全组合优化问题的标注成本过高问题，这些问题是大规模求解时通常不可行的。
• 探究对比预训练是否能减少在组合优化中对昂贵标注的依赖。
• 评估数据增强设计——特别是标签保持性增强与标签无关增强——对下游性能的影响。
• 探索自监督表示是否在不同领域之间比监督表示具有更好的泛化能力。
• 证明利用组合问题中的已知不变量可实现高效、低数据量的表示学习。

提出的方法

• 该方法采用对比学习框架，通过保持可满足性的变换（如变量消除和子句归结）对每个SAT实例进行增强。
• 通过随机应用这些变换于CNF形式的SAT公式，生成保持公式可满足性状态的增强数据。
• 图神经网络（GNN）编码器处理每个增强公式的文字-子句关联图（LIG⁺），生成节点级别的嵌入表示。
• 对比目标最大化同一实例不同增强版本之间的表示一致性，同时最小化不同实例之间的表示一致性。
• 在冻结的编码器特征上训练一个下游线性分类器，用于判断SAT/UNSAT，从而评估表示质量。
• 在低样本和零样本迁移设置下评估该方法，与监督基线及标准图增强方法进行性能比较。

实验结果

研究问题

• RQ1 数据增强的设计是否显著影响对比预训练在组合优化问题上的性能？
• RQ2 标签保持性增强是否能生成与完全监督学习相当甚至更优的表示，且仅使用极少量标签？
• RQ3 自监督表示在不同问题领域之间的迁移能力，与监督表示相比如何？
• RQ4 基于已知不变量（如子句归结）的增强是否比标准图级增强（如节点丢弃、特征掩码）更有效？
• RQ5 对比预训练是否能减少对源领域标签的过拟合，从而提升对未见问题类型的泛化能力？

主要发现

• 所提出的对比方法在仅使用1%的标注训练数据的情况下，测试准确率与最佳完全监督基线相当。
• 标签保持性增强——尤其是基于子句归结的增强——对实现优异性能至关重要；而标准图增强方法（如节点丢弃）未能带来有意义的性能提升。
• 该方法将样本复杂度降低了至少100倍，所有数据集在低标签设置下均表现出更优性能。
• 与监督表示相比，对比表示在未见问题领域中的迁移能力显著更强，尤其在从合成数据到工业数据或反之的迁移中表现突出。
• 在合成生成器（SR、PR）上预训练的模型在工业数据集（DP、PS）上的迁移效果优于反向迁移，表明富含不变量的合成数据可生成更具泛化能力的表示。
• 当源域与目标域差异越大时，迁移性能越高，表明自监督学习能有效减少对源域特定模式的过拟合。