[论文解读] Iterative Deep Learning for Network Topology Extraction

Carles Ventura, Jordi Pont-Tuset+3 more|arXiv (Cornell University)|Dec 4, 2017

Retinal Imaging and Analysis参考文献 26被引用 11

一句话总结

该论文提出了一种迭代深度学习框架，采用基于图像块的卷积神经网络（CNN）来预测图像块中心点与边界点之间的局部连通性，从而实现视网膜血管和道路系统等丝状网络的端到端拓扑提取。通过在图像上迭代应用该局部连通性模型，该方法以优于强基线模型的性能重建了全局网络拓扑，在马萨诸塞州道路数据集上取得了74.4%的SOTA F1C分数，在DRIVE视网膜数据集上取得了73.4%的SOTA F1C分数。

ABSTRACT

This paper tackles the task of estimating the topology of filamentary networks such as retinal vessels and road networks. Building on top of a global model that performs a dense semantical classification of the pixels of the image, we design a Convolutional Neural Network (CNN) that predicts the local connectivity between the central pixel of an input patch and its border points. By iterating this local connectivity we sweep the whole image and infer the global topology of the filamentary network, inspired by a human delineating a complex network with the tip of their finger. We perform an extensive and comprehensive qualitative and quantitative evaluation on two tasks: retinal veins and arteries topology extraction and road network estimation. In both cases, represented by two publicly available datasets (DRIVE and Massachusetts Roads), we show superior performance to very strong baselines.

研究动机与目标

• 为解决提取视网膜血管和道路系统等丝状网络的结构化、拓扑表示这一挑战，超越传统的二值分割方法。
• 克服现有方法仅提供像素级分类或不完整连通图的局限性。
• 开发一种深度学习方法，通过在图像块间迭代连接局部点，模拟人类对网络的追踪方式。
• 在两个不同的现实世界任务上评估该方法：视网膜血管拓扑提取和道路网络估计。
• 引入一种新的评估指标F1C，将精确率与连通性相结合，以更全面地评估拓扑质量。

提出的方法

• 训练一个基于图像块的CNN，以预测64×64图像块边界上哪些点与中心像素相连，将中心点视为输入点，并在边界上检测出口点。
• 在图像上迭代应用该模型，每次迭代通过从最新检测到的点添加新连接来扩展当前的网络拓扑。
• 迭代过程从种子点（如血管或道路中心）开始，通过连续的图像块逐步传播连通性，逐步构建全局图结构。
• 对于视网膜图像，模型可区分动脉与静脉，从而分别提取两者的拓扑结构。
• 对于道路网络，该方法直接在高分辨率航拍图像上运行，无需依赖先前的分割结果，学习局部图像块内的连通性。
• 引入一种新的F1C指标，联合评估最终拓扑中的精确率与连通性，提供比标准分割指标更具信息量的评估。

实验结果

研究问题

• RQ1 深度学习模型能否有效预测图像块中中心点与边界点之间的局部连通性，以重建全局网络拓扑？
• RQ2 与基于端到端分割的基线方法相比，局部连通性模型的迭代应用在拓扑准确性方面表现如何？
• RQ3 基于图像块的CNN在复杂、纠缠的丝状结构（如视网膜血管和道路网络）上具有多大程度的泛化能力？
• RQ4 所提出的方法是否在真实世界数据集中优于强基线模型，更全面地捕捉结构精确性与连通性？
• RQ5 F1C指标能否有效捕捉拓扑提取质量，超越标准分割性能的评估？

主要发现

• 在马萨诸塞州道路数据集上，所提出的迭代方法取得了74.4%的F1C分数，显著优于最佳基线模型（VGG-150）的49.3% F1C分数。
• 在道路网络连通性评估中，该方法实现了83.5%的精确率和80.8%的召回率，F1C在最优阈值下达到74.4%。
• 在DRIVE视网膜数据集上，该方法取得了73.4%的F1C分数，表明其在视网膜血管拓扑提取方面表现优异，且能分别重建动脉与静脉网络。
• 可视化结果表明，即使在阴影和背景杂乱等具有挑战性的条件下，模型仍能成功检测连接，但偶尔会在断开的道路或外观相似的结构（如建筑屋顶）上失败。
• 如图14所示，迭代勾画过程逐步构建网络拓扑，最终结果在复杂的城市与乡村环境中均与真实情况高度吻合。
• 与基于分割的基线方法相比，该方法在高密度城区和狭窄、低对比度道路区域中显著减少了误报和连接缺失。