[论文解读] Balancing Symmetry and Efficiency in Graph Flow Matching

Benjamin Honoré, Alba Carballo-Castro+2 more|arXiv (Cornell University)|Feb 20, 2026

Advanced Graph Neural Networks被引用 0

一句话总结

本论文研究通过正弦位置编码和训练中置换在图流匹配中的受控对称性破缺，在对称性调制下实现更快的早期训练和更好的收敛性，相较于严格的等变性。

ABSTRACT

Equivariance is central to graph generative models, as it ensures the model respects the permutation symmetry of graphs. However, strict equivariance can increase computational cost due to added architectural constraints, and can slow down convergence because the model must be consistent across a large space of possible node permutations. We study this trade-off for graph generative models. Specifically, we start from an equivariant discrete flow-matching model, and relax its equivariance during training via a controllable symmetry modulation scheme based on sinusoidal positional encodings and node permutations. Experiments first show that symmetry-breaking can accelerate early training by providing an easier learning signal, but at the expense of encouraging shortcut solutions that can cause overfitting, where the model repeatedly generates graphs that are duplicates of the training set. On the contrary, properly modulating the symmetry signal can delay overfitting while accelerating convergence, allowing the model to reach stronger performance with $19\%$ of the baseline training epochs.

研究动机与目标

• 在图生成模型中动机化置换等变性与优化效率之间的权衡。
• 在训练过程中引入可控的对称性调节机制以放宽等变性。
• 分析对称性破缺如何影响学习动力学和在图数据集上的泛化。
• 证明适当的对称性调节可以在加速收敛的同时延迟过拟合。
• 比较不同的编码方案（正弦PE vs RRWP）和DeFoG框架中的时变置换。

提出的方法

• 从一个等变的离散流匹配模型（DeFoG）出发，通过正弦位置编码引入可控的对称性调节。
• 将位置编码分解为不变分量和非不变分量，并使用缩放参数lambda来调节对称性破缺。
• 在训练过程中以速率chi应用置换以在训练中恢复对称性，并研究其对学习的影响。
• 分析两种对称性调节方案：缩放的正弦PE和训练中节点置换，以及一个对称性恢复循环。
• 使用V、U、N指标（有效性/唯一性/新颖性）以及在SBM等图数据集上的VUN综合评分进行评估。

Figure 1: Symmetry breaking restoring cycle. Starting from the initial point, equivariant paths converge slowly but preserve symmetry, non equivariant paths converge faster with a generalization gap, and the breaking restoring path achieves fast progress while recovering structural validity.

实验结果

研究问题

• RQ1 通过对称性破缺放宽严格等变性在图流匹配中对训练速度和收敛性有何影响？
• RQ2 通过缩放的正弦PE和置换率实现的可控对称性破缺计划是否能在保持或改善采样质量的同时延迟过拟合？
• RQ3 不同对称性调节策略（PE缩放、置换、对称性恢复循环）在图生成质量上的权衡是什么？
• RQ4 与像RRWP这样的结构感知编码相比，对称性调节技术在收敛性和泛化方面的表现如何？

主要发现

λ	χ	VUN ↑	Avg Ratio ↓	Epoch	Epochs / Min ↑
3	χ(t)	0.975	1.25	9000	11.96
1	∞	0.925	2.01	4000	11.93
3	5	0.925	3.16	10000	11.71
5	∞	0.900	2.36	6000	12.01
Baseline	∞	0.900	2.24	21000	10.47

• 使用正弦位置编码的对称性破缺可以加速早期收敛，但也可能引发更早的过拟合，导致新颖性和唯一性下降。
• 增加对称性保持权重lambda可以延缓新颖性和唯一性的崩溃，取得速度与泛化之间的平衡。
• 引入在训练中的置换（chi>0）进一步延缓过拟合并可加速收敛，但对称性保留过强会降低训练速度。
• 时变的置换速率循环（先破坏对称性再逐步恢复）在VUN上表现最好，优于基线，大约占用训练时期的19%。
• 归一化的正弦位置编码可进一步延迟UN崩溃并保持竞争力的性能。
• 最佳配置在比基线显著更少的训练时期内实现更高的VUN；在对称性破缺与恢复之间的权衡提升了采样质量和效率。
• 在复杂设置（类似SBM的图）中此方法收益最大，而在较简单的图中，标准的等变偏置仍然有价值，因此收益较小。

Figure 4: Comparison of DeFoG’s baseline setting, with RRWP encodings and symmetry breaking sinusoidal PE with different invariance scaling $\lambda$ and time dependent permutation rates.