[论文解读] IQ of Neural Networks

Dokhyam Hoshen, Michael Werman|arXiv (Cornell University)|Sep 29, 2017

Neural Networks and Applications参考文献 14被引用 16

一句话总结

本文提出一种卷积神经网络（CNN）模型，通过学习旋转、反射、缩放和颜色变化等变换，解决智商测试中的几何图案识别问题。该模型在合成数据上进行训练，在真实智商测试题目上达到人类前5%的性能水平，正确率高达38/40，展现出在真实世界图案识别任务中的强大泛化能力。

ABSTRACT

IQ tests are an accepted method for assessing human intelligence. The tests consist of several parts that must be solved under a time constraint. Of all the tested abilities, pattern recognition has been found to have the highest correlation with general intelligence. This is primarily because pattern recognition is the ability to find order in a noisy environment, a necessary skill for intelligent agents. In this paper, we propose a convolutional neural network (CNN) model for solving geometric pattern recognition problems. The CNN receives as input multiple ordered input images and outputs the next image according to the pattern. Our CNN is able to solve problems involving rotation, reflection, color, size and shape patterns and score within the top 5% of human performance.

研究动机与目标

• 直接在设计用于衡量人类智能的任务上评估深度学习模型，特别是智商测试中的图案识别任务。
• 开发一种神经网络，能够学习并泛化旋转、反射、缩放、颜色和形状添加等几何变换。
• 将机器学习性能与人类在标准化智商测试题目（特别是雷文推理矩阵）上的表现进行基准对比。
• 探索CNN在生成开放式IQ问题的高保真图像输出方面的局限性，并评估其在真实视觉模式中的迁移能力。
• 通过模型置信度分数（概率）评估题目难度和混淆程度，以改进自适应测试。

提出的方法

• 在合成图像序列数据集上训练CNN，其中每个图像都是通过预定义的几何操作对前一个图像进行变换得到的。
• 采用两种评估模式：多项选择题选择与直接图像生成（回归），以预测序列中的下一个图像。
• 通过包括旋转、缩放、反射、形状添加、颜色变化以及物体数量在内的变换进行数据增强。
• 采用基于自编码器的架构，对输入图像进行编码并解码预测输出，最小化真实值与预测值之间的均方误差（MSE）。
• 在以色列国家测评与评估研究所提供的真实世界智商测试题目上测试模型，使用保留的测试集共40道题目。
• 通过在输入和输出中添加高斯噪声（σ = 99）来评估模型鲁棒性，以模拟真实世界的视觉噪声。

实验结果

研究问题

• RQ1 CNN是否能够在无显式监督的情况下，从图像序列中学习并泛化旋转、反射和缩放等几何变换？
• RQ2 深度学习模型在IQ风格图案识别任务上的表现与人类表现相比如何？
• RQ3 对神经网络和人类而言，不同变换类型（如旋转与颜色变化）的相对难度如何？
• RQ4 在合成数据上训练的模型在面对具有复杂、真实形状的现实智商测试题目时，其泛化能力有多强？
• RQ5 模型的置信度分数（概率）是否可用于评估题目难度和混淆程度，从而改进自适应测试？

主要发现

• 该模型在以色列国家测评与评估研究所提供的真实智商测试集上达到95%的准确率（40道题中正确38道），表现位于人类前5%。
• 所有变换类型平均均方误差（MSE）为3.5×10⁻⁴，其中反射和旋转任务误差最高，分别为4.1×10⁻⁴和5.7×10⁻⁴，表明学习难度更大。
• 在噪声条件下模型表现稳健，多项选择题错误率提升5%（干净数据为91%，噪声下为87%），表明对视觉噪声具有较强鲁棒性。
• 当面对复杂、真实的形状时，模型在开放式（回归）生成格式中难以生成清晰、高保真的图像输出，表明其在向自然视觉模式迁移学习方面存在局限。
• 实证结果证实，反射和旋转任务对模型和人类而言均更困难，与已知的人类在IQ测试中对这些任务的认知难度一致。
• 模型在颜色和缩放变换任务上的表现更优，MSE分别为2.1×10⁻⁴和2.4×10⁻⁴，原因在于其需推断的参数更少，相比旋转/反射任务。