[论文解读] AutoSNAP: Automatically Learning Neural Architectures for Instrument Pose Estimation

David Kügler, Marc Uecker+2 more|arXiv (Cornell University)|Jun 26, 2020

Surgical Simulation and Training参考文献 20被引用 2

一句话总结

AutoSNAP 是一种自动化神经架构搜索框架，可为微创手术中的手术器械位姿估计任务发现优化的深度学习架构。通过结合 CAI 特定的测试环境、符号化神经架构模式（SNAP）表示法，以及通过自编码器实现的潜在空间优化，AutoSNAP 发现了 SNAPNet，其相比最先进方法（包括 i3PosNet 和 DARTS）的误差降低了 33% 以上。

ABSTRACT

Despite recent successes, the advances in Deep Learning have not yet been fully translated to Computer Assisted Intervention (CAI) problems such as pose estimation of surgical instruments. Currently, neural architectures for classification and segmentation tasks are adopted ignoring significant discrepancies between CAI and these tasks. We propose an automatic framework (AutoSNAP) for instrument pose estimation problems, which discovers and learns the architectures for neural networks. We introduce 1)~an efficient testing environment for pose estimation, 2)~a powerful architecture representation based on novel Symbolic Neural Architecture Patterns (SNAPs), and 3)~an optimization of the architecture using an efficient search scheme. Using AutoSNAP, we discover an improved architecture (SNAPNet) which outperforms both the hand-engineered i3PosNet and the state-of-the-art architecture search method DARTS.

研究动机与目标

• 解决计算机辅助干预（CAI）任务（如器械位姿估计）中缺乏领域特定神经架构设计的问题。
• 克服从通用计算机视觉领域预训练架构迁移所带来的局限性，这些架构在小规模、稀疏标注的 CAI 数据集上进行回归任务时表现不佳。
• 开发一种高效、资源受限的 NAS 框架，专门适配 CAI 的独特需求，包括合成数据训练与位姿回归。
• 通过可微分搜索空间将架构表示与性能关联，实现神经架构的端到端优化。
• 在位姿估计精度上超越手工设计模型（如 i3PosNet）和现有 NAS 方法（如 DARTS）

提出的方法

• 引入一种高效、面向 CAI 的测试环境，利用合成 X 射线图像和真实位姿标注，实现实时性能评估。
• 提出符号化神经架构模式（SNAPs），作为使用预定义操作（如卷积、深度可分离卷积、最大池化、跳跃连接）的紧凑、可扩展且人类可读的神经块表示法。
• 采用自编码器将 SNAPs 映射到连续潜在空间，实现基于梯度的优化，而非离散搜索。
• 在自编码器中训练多组件损失函数，包括重建损失和基于测试环境中实时回归指标的性能预测器。
• 通过潜在空间中的梯度上升执行架构搜索，由价值估计器指导，该估计器可预测性能（−log10(regMSE)），而无需重新训练。
• 采用混合搜索策略，结合离散 NAS 的灵活性与连续 NAS 的效率，避免在搜索过程中进行完整训练带来的计算负担。

实验结果

研究问题

• RQ1 能否有效将神经架构搜索框架适配于 CAI 中器械位姿估计的特定挑战，如小规模合成数据集和回归任务？
• RQ2 符号化、人类可读的架构表示法（SNAP）是否能在保持性能的同时，实现高效且可解释的搜索？
• RQ3 通过自编码器学习的潜在空间优化是否显著提升搜索效率，相比随机搜索或离散搜索？
• RQ4 AutoSNAP 是否能发现超越手工设计模型（如 i3PosNet）和最先进 NAS 方法（如 DARTS）的位姿估计性能的架构？
• RQ5 AutoSNAP 发现的架构（SNAPNet）在合成与真实 X 射线图像上的性能与基线相比如何？

主要发现

• AutoSNAP 发现了 SNAPNet，一种新型架构，其回归误差相比最先进方法 i3PosNet 和 DARTS 降低了 33% 以上。
• 最佳性能架构在不到 10 个 GPU 小时内被发现，相比随机搜索和 DARTS 展现出更高的搜索效率。
• SNAPNet 在合成与真实 X 射线图像上均优于 i3PosNet 和 DARTS∗，真实图像的置信区间宽度减少了 90–95%，表明其性能更稳定。
• 即使 AutoSNAP 搜索结果中排名第 25 的架构也优于随机搜索找到的最佳架构，证实了潜在空间优化的有效性。
• 搜索过程中使用的价值度量（−log10(regMSE)）与实际性能高度相关，验证了自编码器中代理性能预测器的有效性。
• 对 SNAPNet-B（含 56/112 个特征通道）进行完整微调后，性能优于 i3PosNet 和 DARTS∗，证实了所发现架构的可扩展性与泛化能力。