[论文解读] Measuring Arithmetic Extrapolation Performance

Andreas Nygaard Madsen, Alexander Rosenberg Johansen|arXiv (Cornell University)|Oct 4, 2019

Model Reduction and Neural Networks参考文献 10被引用 9

一句话总结

本文提出一种基于严格MSE阈值的成功标准，用于评估神经算术逻辑单元（NALUs）中的算术外推性能，实现了对4,800次实验中收敛成功率、收敛速度和参数稀疏性的可靠测量。研究发现，NALUs在乘法和除法任务中由于对权重初始化高度敏感，难以实现一致收敛。

ABSTRACT

The Neural Arithmetic Logic Unit (NALU) is a neural network layer that can learn exact arithmetic operations between the elements of a hidden state. The goal of NALU is to learn perfect extrapolation, which requires learning the exact underlying logic of an unknown arithmetic problem. Evaluating the performance of the NALU is non-trivial as one arithmetic problem might have many solutions. As a consequence, single-instance MSE has been used to evaluate and compare performance between models. However, it can be hard to interpret what magnitude of MSE represents a correct solution and models sensitivity to initialization. We propose using a success-criterion to measure if and when a model converges. Using a success-criterion we can summarize success-rate over many initialization seeds and calculate confidence intervals. We contribute a generalized version of the previous arithmetic benchmark to measure models sensitivity under different conditions. This is, to our knowledge, the first extensive evaluation with respect to convergence of the NALU and its sub-units. Using a success-criterion to summarize 4800 experiments we find that consistently learning arithmetic extrapolation is challenging, in particular for multiplication.

研究动机与目标

• 为评估神经网络中的算术外推性能，解决缺乏标准化、可解释性指标的问题。
• 测量NALU在多种随机权重初始化下成功学习算术运算底层逻辑的频率。
• 量化在不同任务条件下，NALU及其子单元（NACs）的收敛速度与参数稀疏性。
• 提供一个通用基准，用于评估模型在算术外推任务中的鲁棒性与可靠性。

提出的方法

• 定义一个基于10^-5 MSE阈值的成功标准，相对于近乎完美的解，模拟回归任务中的精确匹配。
• 使用二项分布置信区间总结50至100个随机初始化种子的成功率，并采用伽马分布建模收敛时间。
• 使用max_i min(|W_i|, |1 - |W_i||)测量稀疏性误差，并采用修正的贝塔分布计算置信区间，以确保结果在边界范围内。
• 扩展简单函数学习任务基准，以变化输入大小、子集比例和操作类型，实现全面评估。
• 在100万次测试样本上训练模型，计算参考MSE以确定成功标准的阈值，确保阈值稳健。
• 使用最大似然轮廓法计算95%置信区间，涵盖成功率、收敛时间和稀疏性误差。

实验结果

研究问题

• RQ1 在不同随机权重初始化下，NALU成功学习正确算术逻辑的频率如何？
• RQ2 模型通常在哪个训练迭代次数收敛到成功解？
• RQ3 模型性能在不同算术运算（加法、减法、乘法、除法）之间有何差异？
• RQ4 参数稀疏性与NALU中成功外推之间的关系是什么？
• RQ5 该通用基准如何揭示输入大小和子集比例等超参数的敏感性？

主要发现

• 在100个种子下，NALU在乘法和除法任务中的成功率为0%，表明其始终无法收敛。
• 对于加法和减法，NALU的成功率分别为14%和14%，且在不同初始化下方差较高。
• NAC+子单元在加法和减法任务中成功率达到100%，平均收敛于约370,000至490,000次迭代。
• 成功运行的收敛时间范围为140万至300万次迭代，其中乘法任务的收敛速度最慢。
• 成功运行的NAC+和线性模型的稀疏性误差较高（0.23–0.25），表明即使解正确，其参数也非稀疏。
• 本研究揭示NALU对权重初始化极为敏感，在乘法和除法任务中，所有试验均无一致收敛。