[论文解读] Hierarchical semantic segmentation using modular convolutional neural networks

Sagi Eppel|arXiv (Cornell University)|Oct 14, 2017

Advanced Neural Network Applications参考文献 30被引用 5

一句话总结

本文提出了一种模块化、分层的语义分割框架，采用两个串联连接的全卷积神经网络：第一个网络将血管从背景中分割出来，第二个网络识别血管内部的内容。通过应用‘阀门滤波注意力’机制实现特征的选择性传递，该方法在性能上优于单网络方法，实现了预训练模块的复用而无需重新训练。

ABSTRACT

Image recognition tasks that involve identifying parts of an object or the contents of a vessel can be viewed as a hierarchical problem, which can be solved by initial recognition of the main object, followed by recognition of its parts or contents. To achieve such modular recognition, it is necessary to use the output of one recognition method (which identifies the general object) as the input for a second method (which identifies the parts or contents). In recent years, convolutional neural networks have emerged as the dominant method for segmentation and classification of images. This work examines a method for serially connecting convolutional neural networks for semantic segmentation of materials inside transparent vessels. It applies one fully convolutional neural net to segment the image into vessel and background, and the vessel region is used as an input for a second net which recognizes the contents of the glass vessel. Transferring the segmentation map generated by the first nets to the second net was performed using the valve filter attention method that involves using different filters on different segments of the image. This modular semantic segmentation method outperforms a single step method in which both the vessel and its contents are identified using a single net. An advantage of the modular neural net is that it allows networks to be built from existing trained modules, as well the transfer and reuse of trained net modules without the need for any retraining of the assembled net.

研究动机与目标

• 为解决识别复杂嵌套图像结构（如透明血管内部内容）的挑战。
• 开发一种模块化方法，将血管检测与内容分割分离，以提高准确性和灵活性。
• 实现在不重新训练整个系统的情况下复用预训练神经网络模块。
• 探究分层处理是否在复杂视觉识别任务中优于端到端的单网络分割。

提出的方法

• 采用两阶段流水线：首先，一个全卷积网络（FCN）将血管从背景中分割出来。
• 第一阶段网络生成的分割掩码被用作空间注意力图，以指导第二阶段FCN中的特征提取。
• ‘阀门滤波注意力’机制根据分割掩码，对输入图像的不同区域应用不同的卷积滤波器，实现特征的选择性学习。
• 第二阶段网络利用掩码化、注意力引导的特征，对血管内部的内容进行分类与分割。
• 模块化设计允许在不微调整个系统的情况下组合预训练网络。
• 通过空间条件化的卷积操作实现网络间的特征传递，保留空间上下文信息。

实验结果

研究问题

• RQ1 分层模块化方法是否能提升对嵌套图像结构（如透明血管内部内容）的语义分割准确性？
• RQ2 采用基于注意力机制的两阶段网络是否优于单一统一的分割网络？
• RQ3 在不重新训练的情况下，预训练神经网络模块能在多大程度上被复用于新系统？
• RQ4 阀门滤波注意力机制在引导不同图像区域的特征学习方面有多有效？

主要发现

• 模块化两阶段网络在分割血管及其内容方面优于单网络基线模型。
• 阀门滤波注意力机制通过根据图像不同区域自适应调整滤波器，实现了更精确的特征学习。
• 预训练模块可直接组合到新系统中而无需重新训练，性能得以保持并降低了训练成本。
• 分层方法在分割复杂嵌套视觉结构（如透明容器中的液体）方面表现出更强的鲁棒性。