[论文解读] Evaluating ResNeXt Model Architecture for Image Classification

Saifuddin Hitawala|arXiv (Cornell University)|May 9, 2018

COVID-19 diagnosis using AIMedicine参考文献 14被引用 16

一句话总结

本论文通过调整关键超参数——基数（cardinality）、深度（depth）和基宽（base-width）——在CIFAR-10子集上评估了ResNeXt架构，使用PyTorch实现。结果表明，将深度从29减少到20或基宽从64减少到32，可在显著缩短训练时间的同时保持相近的准确率，表明在不造成显著性能损失的前提下，存在可行的高效训练权衡方案。

ABSTRACT

In recent years, deep learning methods have been successfully applied to image classification tasks. Many such deep neural networks exist today that can easily differentiate cats from dogs. One such model is the ResNeXt model that uses a homogeneous, multi-branch architecture for image classification. This paper aims at implementing and evaluating the ResNeXt model architecture on subsets of the CIFAR-10 dataset. It also tweaks the original ResNeXt hyper-parameters such as cardinality, depth and base-width and compares the performance of the modified model with the original. Analysis of the experiments performed in this paper show that a slight decrease in depth or base-width does not affect the performance of the model much leading to comparable results.

研究动机与目标

• 评估ResNeXt模型架构在CIFAR-10数据集子集上的性能。
• 研究超参数调优（特别是基数、深度和基宽）对模型准确率和训练效率的影响。
• 确定简化后的模型配置是否能在计算成本更低的情况下实现与原始ResNeXt相当的性能。
• 在有限计算资源下，分析修改超参数后的训练稳定性和收敛行为。

提出的方法

• 使用PyTorch实现原始ResNeXt模型，并在CIFAR-10子集上进行训练。
• 系统性地逐个改变超参数——基数、深度和基宽——同时保持其他所有设置不变。
• 使用随机梯度下降训练模型300个周期，采用标准优化设置。
• 监控所有配置下的训练和验证准确率及损失，以评估性能和收敛性。
• 使用SHARCNET集群进行训练，通过检查点机制应对最长3小时的任务时间限制。
• 比较不同配置下的最终测试准确率、每周期训练时间以及测试误差的方差。

实验结果

研究问题

• RQ1 将ResNeXt模型的深度从29减少到20，对CIFAR-10子集上的分类准确率有何影响？
• RQ2 将基宽从64减少到32，对模型性能和训练效率有何影响？
• RQ3 在小规模CIFAR-10子集中，调整基数如何影响模型的准确率和收敛行为？
• RQ4 简化后的ResNeXt配置能否在减少训练时间的同时实现与原始模型相当的准确率？

主要发现

• 将模型深度从29减少到20导致最终测试准确率略有下降，但测试误差的方差显著降低，表明训练稳定性得到提升。
• 深度为20的模型训练时间约为70分钟，相比深度为29的模型减少了约30分钟，同时保持了较高的准确率。
• 将基宽从64减少到32后，参数量从3240万降至2280万，训练时间缩短至约75分钟，且测试准确率与基宽64的模型相当。
• 基宽为32的模型在收敛速度和测试准确率方差方面与基宽64的模型几乎完全一致，表明对宽度减少具有鲁棒性。
• 在CIFAR-10子集上达到的最佳测试准确率为83%，与原始ResNeXt论文中报告的CIFAR-100上的83.7%非常接近，表明数据集大小和类别分布对性能有显著影响。
• 部分运行中出现的训练行为不一致（如基数为4的Cifar-2和基数为16的Cifar-10）被归因于在SHARCNET上受限任务时间下检查点恢复不当。