[论文解读] A Neuro-vector-symbolic Architecture for Solving Raven's Progressive Matrices

Michael Hersche, Mustafa Zeqiri+3 more|arXiv (Cornell University)|Mar 9, 2022

Neural Networks and Applications被引用 5

一句话总结

该论文提出了一种神经-向量-符号架构（NVSA），通过利用高维分布式表征来克服绑定问题，并实现高效的概率推理，将深度学习与符号推理相结合，以解决瑞文推理矩阵（RPM）问题。NVSA在RAVEN数据集上达到87.7%的新SOTA准确率，在I-RAVEN上达到88.1%，其推理速度比符号方法快两个数量级，得益于对分布式向量的高效操作。

ABSTRACT

Neither deep neural networks nor symbolic AI alone has approached the kind of intelligence expressed in humans. This is mainly because neural networks are not able to decompose joint representations to obtain distinct objects (the so-called binding problem), while symbolic AI suffers from exhaustive rule searches, among other problems. These two problems are still pronounced in neuro-symbolic AI which aims to combine the best of the two paradigms. Here, we show that the two problems can be addressed with our proposed neuro-vector-symbolic architecture (NVSA) by exploiting its powerful operators on high-dimensional distributed representations that serve as a common language between neural networks and symbolic AI. The efficacy of NVSA is demonstrated by solving the Raven's progressive matrices datasets. Compared to state-of-the-art deep neural network and neuro-symbolic approaches, end-to-end training of NVSA achieves a new record of 87.7% average accuracy in RAVEN, and 88.1% in I-RAVEN datasets. Moreover, compared to the symbolic reasoning within the neuro-symbolic approaches, the probabilistic reasoning of NVSA with less expensive operations on the distributed representations is two orders of magnitude faster. Our code is available at https://github.com/IBM/neuro-vector-symbolic-architectures.

研究动机与目标

• 通过在神经-向量-符号框架下统一二者，解决神经网络中的绑定问题以及符号AI中的穷举搜索问题。
• 利用高维分布式表征作为通用语言，实现RPM任务中视觉感知与抽象推理的端到端学习。
• 与现有深度学习和神经符号模型相比，实现人类水平的泛化能力，同时提升效率与准确率。
• 证明在复杂视觉类比任务中，基于分布式表征的概率推理可比符号规则推理更快且更准确。

提出的方法

• NVSA使用高维分布式表征（HDDRs）作为神经与符号组件之间的共享语义空间，实现在无需显式对象分割情况下的组合推理。
• 该架构采用多头感知前端，从输入矩阵中提取属性（如形状、颜色、位置），每个前端均通过引入元标签的REINFORCE损失进行端到端训练，以激活规则。
• 概率推理引擎通过预测与真实属性分布之间的Jensen-Shannon散度（JSD）计算规则似然度，通过小型多层感知机（MLP）学习属性重要性权重。
• 规则推理通过为每个属性选择最可能的规则完成，最终答案选择通过使用学习权重对各属性的JSD得分进行聚合。
• 系统采用两阶段训练：首先在仅激活单一规则的过滤数据上训练感知前端；其次在完整数据上训练属性选择MLP以预测激活属性。
• 所有组件均进行端到端训练，实现感知与推理的联合优化，无需独立的网络流水线。

实验结果

研究问题

• RQ1 神经-向量-符号架构能否在克服神经网络中绑定问题的同时，避免符号AI中的穷举搜索？
• RQ2 高维分布式表征能否作为神经与符号系统之间用于抽象视觉推理的有效通用语言？
• RQ3 在RPM任务中，基于分布式表征的概率推理能否实现比符号规则推理更快且更准确的性能？
• RQ4 神经符号模型的端到端训练能否在RAVEN和I-RAVEN基准上实现SOTA准确率？

主要发现

• NVSA在RAVEN数据集上达到87.7%的新SOTA准确率，在I-RAVEN上达到88.1%，优于先前的深度学习与神经符号方法。
• 该模型基于分布式表征的概率推理速度约为同类神经符号框架中符号推理的100倍。
• NVSA的端到端训练在PGM数据集上实现68.3%的平均准确率，与当前SOTA方法MRNet性能相当，尽管训练过程中未依赖基于规则的过滤。
• 通过小型MLP实现的可学习属性权重可提升PGM上的性能，通过根据规则置信度和误差动态聚焦于相关属性。
• 该模型在不同数据集间表现出良好的泛化能力，对规则复杂度和属性构成的变化具有鲁棒性。
• 消融实验证实，分布式表征与概率推理的结合对高性能至关重要，移除任一组件均会导致准确率显著下降。