[论文解读] Federated Neuro-Symbolic Learning

Pengwei Xing, Songtao Lu+1 more|arXiv (Cornell University)|Aug 29, 2023

Topic ModelingComputer Science被引用 3

一句话总结

FedLogic 提出了一种新颖的、可解释的联邦神经符号框架，用于大规模语言模型（LLMs）中的多领域思维链（CoT）提示选择，通过变分期望最大化（V-EM）和KL散度约束的双层优化，平衡非独立同分布（non-i.i.d.）客户端间的个性化与泛化。该方法通过将规则生成建模为概率潜在变量推理，在跨领域CoT推理中实现了卓越性能。

ABSTRACT

Neuro-symbolic learning (NSL) models complex symbolic rule patterns into latent variable distributions by neural networks, which reduces rule search space and generates unseen rules to improve downstream task performance. Centralized NSL learning involves directly acquiring data from downstream tasks, which is not feasible for federated learning (FL). To address this limitation, we shift the focus from such a one-to-one interactive neuro-symbolic paradigm to one-to-many Federated Neuro-Symbolic Learning framework (FedNSL) with latent variables as the FL communication medium. Built on the basis of our novel reformulation of the NSL theory, FedNSL is capable of identifying and addressing rule distribution heterogeneity through a simple and effective Kullback-Leibler (KL) divergence constraint on rule distribution applicable under the FL setting. It further theoretically adjusts variational expectation maximization (V-EM) to reduce the rule search space across domains. This is the first incorporation of distribution-coupled bilevel optimization into FL. Extensive experiments based on both synthetic and real-world data demonstrate significant advantages of FedNSL compared to five state-of-the-art methods. It outperforms the best baseline by 17% and 29% in terms of unbalanced average training accuracy and unseen average testing accuracy, respectively.

研究动机与目标

• 解决联邦 LLM 中多领域思维链（CoT）提示选择缺乏系统性、可解释方法的问题。
• 通过将 CoT 选择形式化为双层优化问题，克服提示工程的试错性质。
• 在客户端持有多样化、敏感数据的非独立同分布联邦学习场景中，平衡泛化与个性化。
• 实现在联邦设置下，将数学问题求解 CoT 能力跨领域迁移至叙事创作任务。
• 引入一种基于 Transformer 的潜在方差逻辑规则学习器，通过概率建模联合优化提示选择与规则生成。

提出的方法

• 将 CoT 提示选择形式化为双层规划问题，其中上层模型（FedLogic）选择提示，下层模型生成 CoT 推理步骤。
• 采用变分期望最大化（V-EM）近似潜在 CoT 规则的后验分布，支持端到端训练。
• 集成两个 KL 散度约束：一个用于客户端特定后验与全局先验之间的差异，另一个用于正则化潜在空间以实现跨领域个性化。
• 将服务器的规则决策建模为概率隐变量，实现动态加权，在非独立同分布的联邦学习设置中提升适应性。
• 使用基于 Transformer 的架构作为潜在方差逻辑规则学习器，根据客户端查询和全局知识生成 CoT 规则。
• 重构联邦学习目标以支持客户端间的一对多关系，区别于传统的一对一神经符号系统。

实验结果

研究问题

• RQ1 如何设计一种系统性且可解释的联邦 LLM 多领域 CoT 提示选择框架？
• RQ2 LLMs 在联邦设置下，能在多大程度上将数学问题求解的 CoT 能力迁移至叙事创作任务？
• RQ3 如何在非独立同分布客户端中有效平衡联邦 CoT 学习的泛化与个性化？
• RQ4 在 V-EM 框架中引入 KL 散度约束，能否缓解大规模搜索空间的挑战并提升跨领域 CoT 性能？
• RQ5 FedLogic 在一对多、非独立同分布的联邦 CoT 选择场景中，相比现有基线模型有何优势？

主要发现

• FedLogic 是首个将多领域 CoT 提示选择形式化为基于 V-EM 的双层优化问题的可解释且系统性的联邦多领域 CoT 框架。
• 集成两个 KL 散度约束显著提升了性能，有效管理了大规模搜索空间并实现了跨领域个性化。
• 即使在基线模型优化后，FedLogic 仍优于最先进基线模型，展现出在多领域 CoT 任务中更优的泛化能力与适应性。
• 该模型成功将数学推理的 CoT 模式迁移至叙事创作任务，表明实现了有效的跨领域知识迁移。
• 通过将服务器的规则决策建模为概率隐变量，FedLogic 实现了动态加权，并更好地处理了非独立同分布客户端数据分布。
• 与传统一对一神经符号系统相比，FedLogic 的一对多架构更能捕捉现实联邦学习场景的复杂性。