[论文解读] Cognitive Deficit of Deep Learning in Numerosity

Xiaolin Wu, Xi Zhang+1 more|arXiv (Cornell University)|Feb 9, 2018

Cognitive and developmental aspects of mathematical skills被引用 3

一句话总结

本文研究了深度学习（DL）是否可以通过端到端训练实现类人的数数能力——即瞬间感知少量物体数量的先天能力。尽管监督信号强烈，标准的深度卷积网络在面对大小、形状和颜色等视觉变化时仍无法泛化。相比之下，通过显式编码形态学操作（如腐蚀、连通分量、计数）的循环卷积神经网络，成功实现了数数，其原理基于人类衍生的认知先验。结果表明，深度学习的认知缺陷源于优化限制，而非网络架构本身。

ABSTRACT

Subitizing, or the sense of small natural numbers, is an innate cognitive function of humans and primates; it responds to visual stimuli prior to the development of any symbolic skills, language or arithmetic. Given successes of deep learning (DL) in tasks of visual intelligence and given the primitivity of number sense, a tantalizing question is whether DL can comprehend numbers and perform subitizing. But somewhat disappointingly, extensive experiments of the type of cognitive psychology demonstrate that the examples-driven black box DL cannot see through superficial variations in visual representations and distill the abstract notion of natural number, a task that children perform with high accuracy and confidence. The failure is apparently due to the learning method not the CNN computational machinery itself. A recurrent neural network capable of subitizing does exist, which we construct by encoding a mechanism of mathematical morphology into the CNN convolutional kernels. Also, we investigate, using subitizing as a test bed, the ways to aid the black box DL by cognitive priors derived from human insight. Our findings are mixed and interesting, pointing to both cognitive deficit of pure DL, and some measured successes of boosting DL by predetermined cognitive implements. This case study of DL in cognitive computing is meaningful for visual numerosity represents a minimum level of human intelligence.

研究动机与目标

• 测试端到端深度学习是否能通过视觉数量感知学习自然数的抽象概念。
• 探究数据驱动的深度学习在超越统计推断的抽象认知能力方面的局限性。
• 探索将人类衍生的认知先验（如形态学操作）融入模型是否可使深度学习实现数数。
• 分析为何即使架构正确，标准反向传播仍无法训练出确定性的数数网络。
• 开发一种模块化、受神经认知启发的深度学习系统，通过将数数分解为基本认知功能，实现在视觉变化下的泛化能力。

提出的方法

• 设计了一种具有 $3\times3$ 卷积核的循环卷积神经网络（RCNN），显式编码形态学操作（如腐蚀、连通性保持）以实现数数。
• 将数数过程分解为三个子网络：腐蚀（形态学原子）、连通分量检测和计数——每个子网络分别训练。
• 在腐蚀子网络中使用残差块与ReLU激活函数，以实现连通性保持的稳定学习。
• 通过拼接学习到的子网络构建模块化深度卷积神经网络（DCNN），形成完整的数数系统，实现对独立同分布数据之外的泛化。
• 探索了RCNN在随机初始化与有信息初始化下的梯度下降训练，发现由于最优解附近损失函数高度不连续，导致训练无法收敛。
• 将RCNN视为具有腹侧视觉通路平行结构的生物启发架构，以递归腐蚀为核心操作。

实验结果

研究问题

• RQ1 通过标准反向传播的端到端深度学习能否从呈现多样化形状、大小和颜色的视觉刺激中学习自然数的抽象概念？
• RQ2 为何尽管监督信号强且训练数据质量高，深度学习在数数任务中仍无法泛化？
• RQ3 深度学习模型能否通过引入人类衍生的认知原语（如形态学操作）实现确定性数数？
• RQ4 为何在已知最优卷积核的前提下，使用预结构化的RCNN进行训练时，梯度下降仍无法收敛？
• RQ5 深度学习在多大程度上可通过预存的认知结构增强，以实现如数数等认知功能？

主要发现

• 标准深度卷积神经网络即使在强监督下仍无法实现数数，对物体大小、形状、颜色和方向的变化泛化能力差。
• 失败原因在于对训练数据中统计模式的过度依赖，而非场景语义理解，表明纯数据驱动学习存在根本性的认知缺陷。
• 通过显式编码形态学核的循环CNN成功实现了确定性数数，通过从视觉变化中抽象出数量，证明了该架构在人类洞察引导下具备实现能力。
• 使用梯度下降训练RCNN时无法收敛，即使采用有信息的初始化，原因在于最优解附近的损失函数高度不连续，类似于整数规划问题。
• 将数数分解为三个子功能（腐蚀、连通分量检测、计数）可实现独立训练与模块化组合，构建出具有泛化能力的数数系统。
• 模块化方法的成功表明，深度学习仅在引入预存认知先验时才能实现认知抽象，而无法仅通过端到端学习实现。