[论文解读] Assessing SATNet's Ability to Solve the Symbol Grounding Problem

Oscar Chang, Lampros Flokas+2 more|arXiv (Cornell University)|Dec 13, 2023

graph theory and CDMA systems参考文献 18被引用 6

一句话总结

本文表明，SATNet在缺乏中间标签的情况下无法解决视觉数独问题，揭示了其在解决符号接地问题上的根本性缺陷——即无法将感知输入映射到符号表征。作者提出了一项基于MNIST的符号接地测试，表明SATNet需要精心调整超参数并减慢主干网络的训练速度才能取得成功，这凸显了仅具备端到端可微性并不能确保深度学习中稳健的符号推理能力。

ABSTRACT

SATNet is an award-winning MAXSAT solver that can be used to infer logical rules and integrated as a differentiable layer in a deep neural network. It had been shown to solve Sudoku puzzles visually from examples of puzzle digit images, and was heralded as an impressive achievement towards the longstanding AI goal of combining pattern recognition with logical reasoning. In this paper, we clarify SATNet's capabilities by showing that in the absence of intermediate labels that identify individual Sudoku digit images with their logical representations, SATNet completely fails at visual Sudoku (0% test accuracy). More generally, the failure can be pinpointed to its inability to learn to assign symbols to perceptual phenomena, also known as the symbol grounding problem, which has long been thought to be a prerequisite for intelligent agents to perform real-world logical reasoning. We propose an MNIST based test as an easy instance of the symbol grounding problem that can serve as a sanity check for differentiable symbolic solvers in general. Naive applications of SATNet on this test lead to performance worse than that of models without logical reasoning capabilities. We report on the causes of SATNet's failure and how to prevent them.

研究动机与目标

• 探究SATNet是否能在无中间监督的情况下实现视觉推理任务中的端到端学习。
• 识别SATNet在将感知输入（如数字图像）映射到符号表征时失败的根本原因。
• 建立一个简单且可解释的基准，用于评估可微符号AI系统中的符号接地问题。
• 提供实际的训练配置，使SATNet能够在符号接地任务中取得成功。

提出的方法

• 提出了一项基于MNIST的符号接地任务，作为可微符号求解器的最小测试案例。
• 设计了一项受控实验，通过在视觉数独任务中移除中间标签，将符号接地与逻辑推理分离。
• 使用主干CNN和可微MAXSAT层训练SATNet，调整如辅助变量数量和学习率调度等超参数。
• 采用相对于SATNet层更慢的主干网络学习率，以稳定训练并提升符号接地性能。
• 在移除标签泄露后，评估SATNet在MNIST接地任务和原始视觉数独基准上的表现。
• 分析失败模式，并将性能不佳归因于缺乏归纳偏置以及在缺乏监督情况下的优化动力学问题。

实验结果

研究问题

• RQ1 SATNet能否在无中间监督的情况下，将视觉数字图像映射到符号表征，即解决符号接地问题？
• RQ2 SATNet在视觉数独任务中取得成功是否依赖于隐藏的中间标签，这些标签泄露了符号信息？
• RQ3 像基于MNIST的数字到符号映射这样更简单且可解释的符号接地任务，能否作为可微符号求解器的可靠 sanity check？
• RQ4 SATNet在符号接地任务中取得成功所需的超参数配置和训练动力学是什么？
• RQ5 仅靠端到端可微性在多大程度上能够实现深度学习中稳健的、最小监督的逻辑推理？

主要发现

• 当移除将数字图像映射到符号的中间标签后，SATNet在视觉数独任务上的测试准确率为0%，表明其完全无法解决符号接地问题。
• 原始视觉数独结果可能源于中间标签泄露，这些标签人为提供了符号监督。
• 在基于MNIST的符号接地任务中，朴素的SATNet训练表现甚至劣于无逻辑推理的模型，凸显其对配置的敏感性。
• 在MNIST接地任务中取得成功需要精心调参：辅助变量的数量必须相对于子句数量受到约束。
• 与SATNet层相比，主干网络采用更慢的学习率对于训练稳定和性能提升至关重要。
• 本研究结论认为，仅靠可微性不足以实现端到端学习；必须对符号接地问题给予显式关注，才能实现逻辑与深度学习的有效融合。