[论文解读] On Numerosity of Deep Convolutional Neural Networks

Xiaolin Wu, Xi Zhang+1 more|arXiv (Cornell University)|Feb 9, 2018

Cognitive and developmental aspects of mathematical skills被引用 2

一句话总结

本文研究了深度卷积神经网络（CNN）是否能在依赖数据驱动学习的前提下，实现亚子计数（subitizing）——即人类与生俱来的即时识别少量物体数量的能力。通过将数学形态学融入循环CNN，作者设计了一种能够成功实现亚子计数的模型，表明认知先验可克服深度学习在抽象数字理解方面的局限性。

ABSTRACT

Subitizing, or the sense of small natural numbers, is an innate cognitive function of humans and primates; it responds to visual stimuli prior to the development of any symbolic skills, language or arithmetic. Given successes of deep learning (DL) in tasks of visual intelligence and given the primitivity of number sense, a tantalizing question is whether DL can comprehend numbers and perform subitizing. But somewhat disappointingly, extensive experiments of the type of cognitive psychology demonstrate that the examples-driven black box DL cannot see through superficial variations in visual representations and distill the abstract notion of natural number, a task that children perform with high accuracy and confidence. The failure is apparently due to the learning method not the CNN computational machinery itself. A recurrent neural network capable of subitizing does exist, which we construct by encoding a mechanism of mathematical morphology into the CNN convolutional kernels. Also, we investigate, using subitizing as a test bed, the ways to aid the black box DL by cognitive priors derived from human insight. Our findings are mixed and interesting, pointing to both cognitive deficit of pure DL, and some measured successes of boosting DL by predetermined cognitive implements. This case study of DL in cognitive computing is meaningful for visual numerosity represents a minimum level of human intelligence.

研究动机与目标

• 探究深度学习模型是否能通过视觉刺激学习自然数的抽象概念，类似于人类的亚子计数能力。
• 识别标准数据驱动CNN在小数量模式的视觉变化中泛化失败的原因。
• 探究将源自人类数感的认知先验融入模型，是否可提升深度学习模型在亚子计数任务中的表现。
• 开发一种利用数学形态学的循环神经网络架构，以实现稳健的亚子计数。
• 评估认知先验在增强黑箱深度学习系统进行抽象视觉推理方面的作用。

提出的方法

• 设计一种循环CNN架构，其中卷积核显式编码数学形态学的原理，以支持数字识别。
• 使用包含少量物体（1–4个）的视觉刺激来训练和测试模型，模拟认知心理学实验。
• 将人类启发的认知先验融入网络的归纳偏置，引导学习朝向抽象数字表征。
• 将形态学增强模型与标准CNN在具有不同视觉外观的亚子计数任务上的表现进行比较。
• 采用循环结构以实现视觉特征的序列化处理，提升对静态卷积层的模式抽象能力。
• 在物体形状、大小和排列等视觉变化下评估泛化能力，以测试其超越记忆化的概念理解能力。

实验结果

研究问题

• RQ1 尽管具有数据驱动特性，标准深度卷积神经网络是否仍能对少量物体实现亚子计数？
• RQ2 为何标准深度学习模型即使在多样例上进行训练，仍无法在小数量模式的视觉变化中实现泛化？
• RQ3 源自人类数感的认知先验是否可提升深度学习模型识别抽象数量的能力？
• RQ4 在卷积核中嵌入数学形态学是否能使神经网络实现稳健的亚子计数？
• RQ5 循环架构在多大程度上可增强深度学习模型对抽象数字的理解能力？

主要发现

• 标准深度学习模型无法实现亚子计数，因为其学习方式阻碍了对自然数底层概念的抽象，尽管在训练数据上准确率很高。
• 该失败归因于深度学习的、数据驱动的黑箱本质，而非CNN架构本身的局限性。
• 通过在卷积核中引入数学形态学的循环神经网络，成功在多种视觉变化下实现亚子计数。
• 融入认知先验——特别是数学形态学的结构原理——显著提升了深度学习模型的泛化能力和概念理解能力。
• 本研究证明，通过嵌入人类认知洞察，可引导深度学习朝向抽象推理，为实现更可解释、更鲁棒的人工智能提供了路径。
• 亚子计数作为视觉感知中类人智能的最小基准，凸显了当前深度学习的局限性与潜力。