[论文解读] Deep learning for image segmentation-a short survey

Zhenzhou Wang|arXiv (Cornell University)|Apr 16, 2019

Machine Learning and Data Classification被引用 1

一句话总结

本文综述了深度学习在图像分割中的表现，揭示了其分类准确率接近100%而分割准确率仅为约80%之间的差距。该局限性归因于深度学习对外部分割方法的依赖以及输出分辨率的限制，这使得只有在图像分辨率大幅降低时才能实现高精度分割。

ABSTRACT

Deep learning works as a discrete non-linear mapping function and has achieved great success as a powerful classification tool. However, is deep learning omnipotent? This paper gives a short survey of the accuracy achieved by deep learning so far in image segmentation. Compared to the close to 100% classification accuracy achieved by deep learning, the image segmentation accuracy achieved by deep learning is only about 80%. We analyze the possible reasons why deep learning could not achieve acceptable accuracy in image segmentation and found that deep learning only generates a prediction map and relies on other segmentation methods to complete the segmentation task. In addition, the performance of deep learning is determined by the number of outputs. Consequently, deep learning could not achieve high segmentation accuracy unless the resolution of the image is extremely small.

研究动机与目标

• 调查为何深度学习在图像分割任务中的准确率显著低于图像分类任务。
• 分析深度学习模型在生成精确分割图时所受的结构与架构限制。
• 识别深度学习在最终分割输出中对外部分割技术的依赖性。
• 评估输出单元数量和图像分辨率对分割准确率的影响。
• 确定深度学习能够实现高分割准确率的条件及其为何具有限制性。

提出的方法

• 本文通过现有文献中报告的准确率指标，对深度学习在图像分类与图像分割中的表现进行对比分析。
• 研究深度学习模型生成的预测图的作用，以及其对后处理或外部分割算法的依赖性。
• 分析聚焦于输出维度和分辨率对分割准确率的影响，特别是模型复杂度与空间精度之间的权衡。
• 评估深度学习在应用于像素级预测任务时所面临的理论与实际约束。
• 本研究利用已发表基准的实证结果，评估分类与分割性能之间的差距。

实验结果

研究问题

• RQ1 为何深度学习在图像分割中的准确率显著低于图像分类？
• RQ2 对外部分割方法的依赖在多大程度上限制了深度学习在分割任务中的表现？
• RQ3 深度学习模型中输出单元的数量在多大程度上影响分割准确率？
• RQ4 图像分辨率在多大程度上决定了深度学习可实现的分割准确率？
• RQ5 在何种条件下深度学习能够实现高分割准确率？为何这些条件具有限制性？

主要发现

• 深度学习在图像分类中可达到接近100%的准确率，但在图像分割中仅能达到约80%的准确率。
• 分割准确率较低的主要原因是深度学习模型仅生成预测图，必须依赖额外的分割技术才能完成任务。
• 深度学习在分割中的表现严重受限于输出单元的数量，这限制了其在高分辨率图像上有效工作的能力。
• 只有当图像分辨率极低时，才能实现高分割准确率，这是由于当前深度学习模型在计算和架构上的限制。
• 分类与分割性能之间的差距凸显了深度学习在处理像素级预测任务时的根本性局限。