[论文解读] Human vs. supervised machine learning: Who learns patterns faster?

Niklas Kühl, Marc Goutier+3 more|arXiv (Cornell University)|Nov 30, 2020

Human-Automation Interaction and Safety被引用 7

一句话总结

本研究比较了人类与监督机器学习（SML）在有限训练数据（5–50个实例）下识别模式的性能。人类初始学习速度更快，但在约20个实例后趋于平台期，这是由于认知过载所致；而SML模型学习速度较慢，但在4种模式中的2种上表现优于人类，尤其是在可通过特征工程优化的模式（如对角线模式）中表现突出。主要贡献在于基于模式复杂度和数据稀缺性，提供了性能差异的实证证据。

ABSTRACT

The capabilities of supervised machine learning (SML), especially compared to human abilities, are being discussed in scientific research and in the usage of SML. This study provides an answer to how learning performance differs between humans and machines when there is limited training data. We have designed an experiment in which 44 humans and three different machine learning algorithms identify patterns in labeled training data and have to label instances according to the patterns they find. The results show a high dependency between performance and the underlying patterns of the task. Whereas humans perform relatively similarly across all patterns, machines show large performance differences for the various patterns in our experiment. After seeing 20 instances in the experiment, human performance does not improve anymore, which we relate to theories of cognitive overload. Machines learn slower but can reach the same level or may even outperform humans in 2 of the 4 of used patterns. However, machines need more instances compared to humans for the same results. The performance of machines is comparably lower for the other 2 patterns due to the difficulty of combining input features.

研究动机与目标

• 研究在有限训练数据条件下，人类与监督机器学习（SML）模型在学习性能上的差异。
• 识别在小样本场景下哪些任务特征更有利于人类或机器学习。
• 评估认知过载对人类在模式识别任务中学习曲线的影响。
• 评估不同SML算法（决策树、多层感知机（MLP）、随机森林）在少量样本下学习复杂模式的有效性。
• 为现实世界中标签数据稀缺的应用提供实证洞察，以支持自动化决策。

提出的方法

• 在受控实验室环境中，对44名人类参与者开展实验，识别5×5矩阵中的四种不同二元模式规则。
• 设计了四种合成模式任务：对角线、数字（计数）、对称性（特征对比）和随机（无模式）。
• 在相同的标注训练数据上应用三种SML模型——决策树、多层感知机（MLP）和随机森林。
• 每名参与者/模型使用5至50个训练实例，测量样本数量增加时的准确率。
• 使用标准超参数训练模型；通过在未见测试实例上的分类准确率评估性能。
• 通过分析学习曲线，比较人类与SML在不同模式类型下的性能演变过程。

实验结果

研究问题

• RQ1 当在有限数据（5–50个实例）上训练时，人类与SML模型的学习性能有何差异？
• RQ2 底层模式结构（如特征依赖性、复杂度）是否显著影响人类与机器的学习性能？
• RQ3 人类学习性能在何时趋于平台期？这是否由认知过载导致？
• RQ4 在小样本数据集上，哪些SML模型在不同类型的模式识别任务中表现最佳？
• RQ5 SML模型是否能在小样本场景下超越人类？在何种条件下可以实现？

主要发现

• 人类在约20个训练实例后性能趋于平台期，表明认知过载限制了进一步提升。
• SML模型的学习速度虽慢于人类，但在4种模式中的2种上表现相当或更优，特别是对角线和对称性规则。
• 决策树模型在对角线规则上表现最佳，因其能有效识别中心单元格特征（$x_5$）作为决定性指标。
• 在未进行特征工程的情况下，SML模型在“数字”和“对称性”规则上表现不佳，因为这些任务需要复杂的特征组合或计数操作。
• 多层感知机（MLP）在对称性任务上的泛化能力优于决策树，但仍无法在无特征工程的情况下学习“数字”规则。
• 不同SML模型的性能差异高度依赖于模式复杂度，模型在需要特征交互或比例检测的任务上表现失败。