[论文解读] GALOIS: Boosting Deep Reinforcement Learning via Generalizable Logic Synthesis

Yushi Cao, Zhiming Li+6 more|arXiv (Cornell University)|May 27, 2022

Formal Methods in Verification被引用 8

一句话总结

GALOIS 提出了一种新颖的框架，通过基于模板的混合领域特定语言（DSL），在深度强化学习（DRL）中合成可解释、分层且具有因果结构的逻辑程序。通过结合命令式与声明式编程范式，GALOIS 实现了可泛化的、具备因果意识的策略，显著提升了 DRL 在性能、泛化能力以及知识重用性方面的表现，适用于各类任务。

ABSTRACT

Despite achieving superior performance in human-level control problems, unlike humans, deep reinforcement learning (DRL) lacks high-order intelligence (e.g., logic deduction and reuse), thus it behaves ineffectively than humans regarding learning and generalization in complex problems. Previous works attempt to directly synthesize a white-box logic program as the DRL policy, manifesting logic-driven behaviors. However, most synthesis methods are built on imperative or declarative programming, and each has a distinct limitation, respectively. The former ignores the cause-effect logic during synthesis, resulting in low generalizability across tasks. The latter is strictly proof-based, thus failing to synthesize programs with complex hierarchical logic. In this paper, we combine the above two paradigms together and propose a novel Generalizable Logic Synthesis (GALOIS) framework to synthesize hierarchical and strict cause-effect logic programs. GALOIS leverages the program sketch and defines a new sketch-based hybrid program language for guiding the synthesis. Based on that, GALOIS proposes a sketch-based program synthesis method to automatically generate white-box programs with generalizable and interpretable cause-effect logic. Extensive evaluations on various decision-making tasks with complex logic demonstrate the superiority of GALOIS over mainstream baselines regarding the asymptotic performance, generalizability, and great knowledge reusability across different environments.

研究动机与目标

• 解决深度强化学习（DRL）中高层次智能——尤其是逻辑推理与知识重用——的缺失问题，该问题限制了泛化能力与可解释性。
• 克服现有程序合成方法的局限：命令式编程缺乏因果推理能力，声明式编程难以处理分层逻辑。
• 开发一个统一框架，自动合成分层的、具有因果关系的逻辑程序，实现 DRL 策略中高度的泛化能力与可解释性。
• 通过共享逻辑结构的环境间实现高效的知识迁移与重用，降低新任务中的样本复杂度。
• 通过构建既可学习又可解释的白盒策略，弥合符号推理与连接主义学习之间的鸿沟。

提出的方法

• 提出一种新颖的基于模板的混合领域特定语言（DSL），支持分层逻辑与严格的因果关系，实现结构化程序合成。
• 将程序模板定义为包含未指定片段（孔洞）的不完整程序，借助领域知识缩小搜索空间，提升合成效率。
• 扩展可微分归纳逻辑编程（ILP）以支持基于模板的合成，实现逻辑程序的端到端训练与基于梯度的优化。
• 构建分层程序合成流水线，其中子程序独立生成，但通过模板中编码的因果依赖关系进行协调。
• 采用两阶段训练流程：首先，为模板中的每个孔洞学习子程序；其次，利用环境反馈微调完整程序。
• 通过在相似任务间重用预训练的子程序（如 toggle_box、open_door），实现知识迁移，显著加速新环境中的学习进程。

实验结果

研究问题

• RQ1 混合程序合成框架能否有效结合命令式与声明式编程的优势，生成在 DRL 中可解释、分层且具有因果结构的策略？
• RQ2 所合成的逻辑程序在具有相似底层逻辑但不同环境配置的任务之间，其泛化能力达到何种程度？
• RQ3 与端到端 DRL 或标准程序合成相比，基于模板的方法在样本效率与学习速度方面有何提升？
• RQ4 子程序知识能否在不同环境中有效重用？这种重用对学习效率的提升程度如何？
• RQ5 在策略合成中集成因果逻辑是否能带来更具可解释性与人类可理解的决策过程？

主要发现

• GALOIS 在多个复杂决策任务中，相较于主流 DRL 基线方法与基于程序合成的方法，在渐近性能上表现更优。
• 框架在零样本泛化方面取得显著提升，尤其在具有逻辑差异的任务中（如 BoxKey 与 DoorKey），得益于因果逻辑的重用，其适应速度更快。
• 知识重用性得到显著增强：通过从相关任务（如 DoorKey）中热启动完整或子程序，可大幅减少学习时间与样本复杂度。
• 仅重用 'where' 功能的子程序（如 ??_WHERE）即可显著提升学习效率，证明了 GALOIS 分层设计的模块化与可重用性。
• 所合成的白盒策略具备可解释性，支持人工介入调优，可高效适应新的下游任务。
• 基于模板的合成方法能有效生成具有严格因果逻辑的分层程序，避免了仅使用命令式方法时出现的混淆与非因果行为。