[论文解读] Multi-level CNN for lung nodule classification with Gaussian Process assisted hyperparameter optimization

Miao Zhang, Huiqi Li+3 more|arXiv (Cornell University)|Jan 2, 2019

Lung Cancer Diagnosis and Treatment参考文献 41被引用 12

一句话总结

该论文提出 HOUSES，一种用于肺结节分类的多层级卷积神经网络（ML-CNN）的超参数优化框架，采用非平稳核的高斯过程代理模型以改进贝叶斯优化。该方法在更少的评估次数内实现了更高的验证准确率和 AUC，优于人工调参、随机搜索以及 HORD 和平稳核 GP 等成熟方法，通过根据输入位置自适应调整平滑度，并结合基于重要性的进化搜索实现性能提升。

ABSTRACT

This paper investigates lung nodule classification by using deep neural networks (DNNs). Hyperparameter optimization in DNNs is a computationally expensive problem, where evaluating a hyperparameter configuration may take several hours or even days. Bayesian optimization has been recently introduced for the automatically searching of optimal hyperparameter configurations of DNNs. It applies probabilistic surrogate models to approximate the validation error function of hyperparameter configurations, such as Gaussian processes, and reduce the computational complexity to a large extent. However, most existing surrogate models adopt stationary covariance functions to measure the difference between hyperparameter points based on spatial distance without considering its spatial locations. This distance-based assumption together with the condition of constant smoothness throughout the whole hyperparameter search space clearly violates the property that the points far away from optimal points usually get similarly poor performance even though each two of them have huge spatial distance between them. In this paper, a non-stationary kernel is proposed which allows the surrogate model to adapt to functions whose smoothness varies with the spatial location of inputs, and a multi-level convolutional neural network (ML-CNN) is built for lung nodule classification whose hyperparameter configuration is optimized by using the proposed non-stationary kernel based Gaussian surrogate model. Our algorithm searches the surrogate for optimal setting via hyperparameter importance based evolutionary strategy, and the experiments demonstrate our algorithm outperforms manual tuning and well-established hyperparameter optimization methods such as Random search, Gaussian processes with stationary kernels, and recently proposed Hyperparameter Optimization via RBF and Dynamic coordinate search.

研究动机与目标

• 解决深度神经网络在医学图像分类中进行超参数调优时计算成本高且效率低的问题。
• 克服高斯过程代理模型中平稳核的局限性，后者假设超参数空间内平滑度恒定。
• 通过引入基于空间位置感知的平滑度变化，利用非平稳核改进复杂、高维深度神经网络的超参数优化。
• 开发一种高效的、基于代理模型的进化策略，通过在突变过程中优先考虑关键超参数以加速收敛。
• 在肺结节恶性程度分类任务中，证明所提方法相比人工调参与最先进超参数优化基线方法具有更优性能。

提出的方法

• 将超参数优化问题建模为高维空间中的黑箱、高成本函数评估任务。
• 提出一种用于高斯过程回归的非平稳核，基于空间位置建模超参数空间中变化的平滑度。
• 将非平稳核集成到代理模型中，以近似不同超参数配置下的验证误差。
• 设计一种基于超参数重要性的进化策略，通过聚焦最具影响力的超参数来引导突变过程。
• 使用采集函数（EI、PI、UCB）在贝叶斯优化循环中平衡探索与利用。
• 将 HOUSES 框架应用于优化用于肺结节分类的多层级卷积神经网络（ML-CNN）架构，该架构包含三个并行的卷积流，分别使用不同卷积核大小。

实验结果

研究问题

• RQ1 与平稳核相比，高斯过程代理模型中使用非平稳核是否能提升深度神经网络中超参数优化的性能？
• RQ2 在核函数中引入空间位置感知的平滑度是否能提升高维超参数空间中的收敛速度与最终性能？
• RQ3 基于代理模型的进化策略结合基于超参数重要性的突变，是否能在深度学习超参数调优中优于随机或均匀搜索？
• RQ4 在肺结节分类任务中，所提出的 HOUSES 框架相较于随机搜索、HORD 和平稳核 GP 等成熟方法，在验证准确率与 AUC 表现上如何？
• RQ5 网络架构的选择与优化后的超参数相结合，相较于人工调参，能在多大程度上提升分类性能？

主要发现

• HOUSES-UCB 在良性类别上达到 85.00% 的验证准确率，不确定类别为 82.33%，恶性类别为 87.75%，优于人工调参及其他基线方法。
• 基于非平稳核的 GP 代理模型显著提升了收敛速度，尤其在高维且复杂的深度神经网络中，表现为 AUC 与准确率的更快提升。
• HOUSES-UCB 在良性结节上达到 0.8927 的 AUC，不确定结节为 0.8692，恶性结节为 0.8937，优于所有对比方法，包括 HORD 和使用平稳核的 GP。
• 该方法减少了对人工超参数调优的依赖，同时在 9-ML-CNN 问题上实现了最先进性能，各类别中均取得了最佳的敏感性、特异性与 AUC。
• 在进化策略中采用基于重要性的突变，使得超参数空间的探索更加高效，显著减少了达到最优配置所需的函数评估次数。
• 结果表明，将专家直觉（如位置相关的平滑度）融入贝叶斯优化，能显著提升复杂、高成本评估的深度学习任务中的优化效率。