[论文解读] Encoding Structure-Texture Relation with P-Net for Anomaly Detection in Retinal Images

Kang Zhou, Yuting Xiao+7 more|arXiv (Cornell University)|Aug 9, 2020

Retinal Imaging and Analysis参考文献 42被引用 21

一句话总结

本文提出P-Net，一种用于视网膜图像异常检测的新型深度学习框架，该框架利用健康视网膜图像中的结构-纹理关系。通过首先提取结构特征（例如，血管拓扑），将其与深层纹理特征融合，并重建原始图像，P-Net使用原始图像与重建图像之间的差异作为关键异常度量指标，在RESC和iSee数据集上分别实现了0.965和0.958的平均AUC，达到当前最优性能。

ABSTRACT

Anomaly detection in retinal image refers to the identification of abnormality caused by various retinal diseases/lesions, by only leveraging normal images in training phase. Normal images from healthy subjects often have regular structures (e.g., the structured blood vessels in the fundus image, or structured anatomy in optical coherence tomography image). On the contrary, the diseases and lesions often destroy these structures. Motivated by this, we propose to leverage the relation between the image texture and structure to design a deep neural network for anomaly detection. Specifically, we first extract the structure of the retinal images, then we combine both the structure features and the last layer features extracted from original health image to reconstruct the original input healthy image. The image feature provides the texture information and guarantees the uniqueness of the image recovered from the structure. In the end, we further utilize the reconstructed image to extract the structure and measure the difference between structure extracted from original and the reconstructed image. On the one hand, minimizing the reconstruction difference behaves like a regularizer to guarantee that the image is corrected reconstructed. On the other hand, such structure difference can also be used as a metric for normality measurement. The whole network is termed as P-Net because it has a ``P'' shape. Extensive experiments on RESC dataset and iSee dataset validate the effectiveness of our approach for anomaly detection in retinal images. Further, our method also generalizes well to novel class discovery in retinal images and anomaly detection in real-world images.

研究动机与目标

• 为解决仅使用正常训练数据进行视网膜图像异常检测的挑战，因为正常数据比病患数据更容易获取。
• 利用临床洞察：视网膜疾病会破坏规则的解剖结构（例如，血管、分层结构），而正常图像则表现出强烈的结构规律性。
• 通过显式建模图像纹理与结构布局之间的相互作用，而非将二者独立处理，从而提升异常检测性能。
• 开发一种可泛化至视网膜图像之外的方法，适用于新型类别发现和真实世界图像的异常检测。

提出的方法

• 训练一个结构提取网络G_s，从正常视网膜图像I中提取结构表征S，使用基于边缘或拓扑感知的特征。
• 将提取的结构S与原始图像I的高层特征表征融合，并通过生成解码器重建输入图像Î。
• 重建过程强制原始图像与重建图像之间保持一致性，最小化像素级和特征级的重建误差。
• 从重建图像Î中再次提取结构，得到Ŝ，计算S与Ŝ之间的结构差异，作为关键异常指标。
• 最终异常评分结合图像重建损失与结构一致性损失，形成双重正则化机制，提升检测精度。
• 整体架构呈大写字母'P'形，因此得名P-Net，其中结构分支构成垂直主干，重建路径构成水平横杆。

实验结果

研究问题

• RQ1 建模图像纹理与结构之间的关系是否能提升视网膜图像中异常检测的性能？
• RQ2 整合结构先验（例如，血管拓扑）如何增强重建保真度与异常检测的鲁棒性？
• RQ3 当与重建损失结合时，原始图像与重建图像之间的结构一致性损失能否作为可靠的异常度量？
• RQ4 P-Net是否能在新型类别发现任务中泛化，其中异常代表此前未见过的疾病类型？
• RQ5 与现有SOTA方法相比，P-Net在零样本异常检测设置下的真实世界图像数据集上表现如何？

主要发现

• 在RESC数据集上，P-Net实现了0.965的平均AUC，达到当前最优性能，显著优于基线方法如AE（SSIM）、AnoGAN和TI。
• 在iSee数据集上，P-Net实现了0.958的平均AUC，表明其在多种视网膜疾病类型和成像模态下均具有强大的泛化能力。
• 在具有对象状特征的图像（例如，胶囊、螺钉、拉链）上表现优异，结构边缘对应有意义形状，平均异常区域重叠达0.89。
• 在纹理类图像（例如，地毯、网格、皮革）上性能下降，原因在于边缘密度高且噪声多，导致结构提取困难。
• 消融实验证实，结合重建损失与结构一致性损失的性能优于单独使用任一损失。
• P-Net在新型类别发现任务中表现出良好泛化能力，补充实验已验证其对未见过的异常模式具有鲁棒性。