[论文解读] Artificial neural networks condensation: A strategy to facilitate adaption of machine learning in medical settings by reducing computational burden

Dianbo Liu, Nestor A. Sepulveda+1 more|arXiv (Cornell University)|Dec 23, 2018

Machine Learning in Healthcare参考文献 18被引用 5

一句话总结

本文提出一种结合剪枝、结构改进（hLSTM）和量化技术的神经网络压缩策略，以在不损失预测准确性的前提下减轻医疗人工智能中的计算负担。该方法在MIMIC-III数据集上进行ICU死亡率预测时，实现了更快的推理速度和更低的内存占用，部分模型甚至超越了基线模型的准确率。

ABSTRACT

Machine Learning (ML) applications on healthcare can have a great impact on people's lives helping deliver better and timely treatment to those in need. At the same time, medical data is usually big and sparse requiring important computational resources. Although it might not be a problem for wide-adoption of ML tools in developed nations, availability of computational resource can very well be limited in third-world nations. This can prevent the less favored people from benefiting of the advancement in ML applications for healthcare. In this project we explored methods to increase computational efficiency of ML algorithms, in particular Artificial Neural Nets (NN), while not compromising the accuracy of the predicted results. We used in-hospital mortality prediction as our case analysis based on the MIMIC III publicly available dataset. We explored three methods on two different NN architectures. We reduced the size of recurrent neural net (RNN) and dense neural net (DNN) by applying pruning of "unused" neurons. Additionally, we modified the RNN structure by adding a hidden-layer to the LSTM cell allowing to use less recurrent layers for the model. Finally, we implemented quantization on DNN forcing the weights to be 8-bits instead of 32-bits. We found that all our methods increased computational efficiency without compromising accuracy and some of them even achieved higher accuracy than the pre-condensed baseline models.

研究动机与目标

• 减少医疗机器学习中的计算负担，尤其是在低资源环境下的应用。
• 在模型压缩的前提下，维持或提升神经网络在临床应用中的预测准确性。
• 探索并实现针对医疗时间序列数据的神经网络压缩技术——剪枝、结构改进与量化。
• 以院内死亡率预测为测试案例，在临床环境中首次实现RNN的剪枝。
• 实现在第三世界国家常见的低性能、低功耗设备上部署高精度机器学习模型。

提出的方法

• 对循环神经网络（RNNs）和全连接神经网络（DNNs）应用一次性剪枝，移除‘未使用’的神经元，仅保留最重要的权重。
• 通过在LSTM单元内部增加一个隐藏层（hLSTM），改进LSTM结构，减少对多层堆叠LSTM的需求。
• 在DNN上实施8位权重量化，将32位浮点权重替换为8位整数，以降低内存占用与计算量。
• 在MIMIC-III数据集上训练并评估模型，以院内死亡率为预测目标，使用顺序性临床时间序列数据。
• 使用Keras实现hLSTM层，并采用标准训练流程，结合早停法与L2正则化。
• 通过AUC-ROC、准确率等标准指标评估性能，并将压缩后的模型与全精度基线模型进行对比。

实验结果

研究问题

• RQ1 在临床时间序列预测任务中，神经网络剪枝是否能有效减小模型规模并缩短推理时间，同时不降低性能？
• RQ2 在LSTM单元内部集成深度神经网络（hLSTM）是否能在减少层数的同时维持或提升预测准确性？
• RQ3 对DNN权重实施8位量化是否能显著降低内存占用与计算量，且对医疗预测任务的准确率影响极小？
• RQ4 这些压缩技术协同作用后，能在多大程度上实现高精度机器学习模型在低资源设备上的部署，特别是在全球健康场景中？
• RQ5 在临床应用中，特别是院内死亡率预测场景下，RNN剪枝是否可行且有效？

主要发现

• 所有压缩技术——剪枝、hLSTM与量化——均显著减小了模型规模与计算需求，且未影响预测准确性。
• hLSTM模型的AUC-ROC达到0.892，优于基线RNN的0.885，表明在结构简化的同时性能得到提升。
• 剪枝使DNN参数量最多减少90%，且准确率无显著下降，证明了参数效率的高效性。
• 8位量化将内存使用量降低约75%，并显著提升推理速度，对模型性能影响极小。
• 经剪枝的RNN模型AUC-ROC为0.883，与基线水平相当，同时显著缩短了训练与推理时间。
• 本研究证明，神经网络压缩不仅可行，而且在临床机器学习中具有实际优势，可在不损失准确率的前提下实现在低端硬件上的部署。