[论文解读] Efficient Neural Architecture Search on Low-Dimensional Data for OCT Image Segmentation

Nils Gessert, Alexander Schlaefer|arXiv (Cornell University)|May 7, 2019

Retinal Imaging and Analysis参考文献 8被引用 1

一句话总结

本文提出了一种针对OCT图像分割的高效神经架构搜索（NAS）方法，通过在1D A-scan数据上而非完整的2D B-scan数据上执行架构搜索。该方法将搜索时间减少了87.5%，同时实现了与2D搜索相当的性能，证明了在低维数据上学习的架构能够有效迁移至高维医学影像任务。

ABSTRACT

Typically, deep learning architectures are handcrafted for their respective learning problem. As an alternative, neural architecture search (NAS) has been proposed where the architecture's structure is learned in an additional optimization step. For the medical imaging domain, this approach is very promising as there are diverse problems and imaging modalities that require architecture design. However, NAS is very time-consuming and medical learning problems often involve high-dimensional data with high computational requirements. We propose an efficient approach for NAS in the context of medical, image-based deep learning problems by searching for architectures on low-dimensional data which are subsequently transferred to high-dimensional data. For OCT-based layer segmentation, we demonstrate that a search on 1D data reduces search time by 87.5% compared to a search on 2D data while the final 2D models achieve similar performance.

研究动机与目标

• 解决医学影像中神经架构搜索（NAS）的高计算成本问题，特别是针对3D/4D数据。
• 克服高维医学影像数据（如OCT体积）NAS中长搜索时间的挑战。
• 探索在低维数据表示（如1D A-scan）上进行架构搜索是否能获得在高维任务（如2D B-scan）上具有良好泛化能力的模型。
• 证明在低维数据上进行NAS可作为全维搜索的可行、高效替代方案，且不牺牲分割性能。

提出的方法

• 使用ENAS框架进行神经架构搜索，但将搜索空间限制为仅学习U-Net类架构的内部模块块。
• 固定整体U-Net结构，包括编码器-解码器连接、通过求和操作的跳跃连接以及下采样/上采样层。
• 定义一个控制器，从每个子单元中选择五种操作之一：3x3和5x5卷积、平均池化和最大池化（3x3）、以及恒等变换。
• 使用Dice损失训练模型，并使用Dice分数作为控制器的奖励，以交错方式训练模型和控制器。
• 在1D A-scan数据（1D数据）上进行NAS，并将学习到的架构迁移至2D B-scan用于最终评估。
• 比较通过1D NAS、2D NAS以及基于ResNet的基线方法训练的模型在性能和搜索时间上的差异。

实验结果

研究问题

• RQ1 在1D A-scan数据上进行架构搜索是否能实现与完整2D B-scan NAS相当的OCT图像分割性能？
• RQ2 与2D数据相比，在1D数据上进行NAS时，搜索时间减少了多少？
• RQ3 在低维数据上发现的架构在高维医学影像任务上的泛化能力如何？
• RQ4 所提出的在低维数据上进行NAS的方法是否在性能上优于手工设计的基线模型（如ResNet-U-Net）？

主要发现

• ENAS1D U-Net 1D模型的平均Dice分数为0.928 ± 0.09，优于ResNet U-Net 1D基线模型（0.916 ± 0.10）。
• ENAS1D U-Net 2D模型的平均Dice分数为0.971 ± 0.04，超过ResNet U-Net 2D基线模型（0.962 ± 0.05）。
• ENAS2D U-Net 2D模型的Dice分数为0.973 ± 0.04，表明2D搜索的性能略优于1D搜索。
• 与2D数据（12小时）相比，使用1D数据（1.5小时）将搜索时间减少了87.5%，且性能差异极小。
• 在1D数据上学习到的架构能有效迁移至2D数据，实现与通过完整2D NAS训练的模型几乎相同的性能。
• 所提出的方法可在不修改跳跃连接或U-Net结构等核心架构组件的前提下，实现医学图像分割的高效NAS。