[论文解读] BiO-Net: Learning Recurrent Bi-directional Connections for Encoder-Decoder Architecture

Tiange Xiang, Chaoyi Zhang+4 more|ArXiv.org|Jul 1, 2020

Advanced Neural Network Applications参考文献 26被引用 6

一句话总结

BiO-Net 提出了一种无参数的循环双向跳跃连接机制，应用于 U-Net 架构中，通过编码器与解码器之间的 O 形推理轨迹实现特征的迭代优化。通过复用现有网络模块而不增加参数，该方法在多个数据集上的语义分割和超分辨率任务中均实现了最先进性能。

ABSTRACT

U-Net has become one of the state-of-the-art deep learning-based approaches for modern computer vision tasks such as semantic segmentation, super resolution, image denoising, and inpainting. Previous extensions of U-Net have focused mainly on the modification of its existing building blocks or the development of new functional modules for performance gains. As a result, these variants usually lead to an unneglectable increase in model complexity. To tackle this issue in such U-Net variants, in this paper, we present a novel Bi-directional O-shape network (BiO-Net) that reuses the building blocks in a recurrent manner without introducing any extra parameters. Our proposed bi-directional skip connections can be directly adopted into any encoder-decoder architecture to further enhance its capabilities in various task domains. We evaluated our method on various medical image analysis tasks and the results show that our BiO-Net significantly outperforms the vanilla U-Net as well as other state-of-the-art methods. Our code is available at https://github.com/tiangexiang/BiO-Net.

研究动机与目标

• 解决 U-Net 变体中因增加新功能模块或参数而导致的模型复杂度上升问题。
• 通过一种新型循环机制改进编码器-解码器架构中的特征优化，该机制可保持梯度流动并支持多尺度特征复用。
• 开发一种轻量化、无参数的增强方法，在不增加模型大小或推理成本的前提下，提升多种视觉任务的性能。
• 实现编码器与解码器之间双向、递归的特征流动，以促进更好的表征学习。

提出的方法

• 引入成对的前向与后向跳跃连接，形成编码器与解码器模块之间的 O 形推理轨迹。
• 在多次推理过程中复用相同的网络权重，实现无额外可训练参数的循环优化。
• 应用迭代特征传播：将解码后的特征映射回编码器，该过程重复 t 次以优化每一层的特征。
• 通过前向与后向跳跃连接保持梯度流动，增强跨语义层级的特征表征学习能力。
• 在架构上兼容任意编码器-解码器模型，不限于 U-Net，具有广泛适用性。
• 采用标准的卷积层、批归一化层和激活函数，下采样通过最大池化实现，上采样通过转置卷积完成。

实验结果

研究问题

• RQ1 无参数的循环双向跳跃连接是否能提升 U-Net 中的特征优化？
• RQ2 在编码器与解码器层级之间迭代复用特征，对分割与超分辨率性能有何影响？
• RQ3 与标准跳跃连接相比，O 形推理轨迹是否能更好地保持梯度并增强表征学习？
• RQ4 所提出的机制是否能在相同或更小模型规模下超越现有 U-Net 变体及最先进模型？

主要发现

• BiO-Net 在 MoNuSeg 细胞核分割数据集上达到最先进性能，优于 U-Net、U-Net++、注意力 U-Net 和 R2U-Net。
• 在 TNBC 数据集上，BiO-Net 在 t=3 迭代时达到 Dice 评分 0.758，优于次佳方法（0.751）和 U-Net（0.623）。
• 在 EM 膜分割任务中，BiO-Net 在 t=3 时在 stack3 上获得 0.958 的 Rand F 分数，在 stack4 上获得 0.887，超过 U-Net（0.939 和 0.821）和 U-Net++（0.940 和 0.844）。
• 在超分辨率任务中，BiO-Net 在 PSNR 上优于 FSRCNN 和 SRResNet，定性结果表明其在细节恢复方面表现更优。
• 消融实验表明，增加推理迭代次数（t）可提升性能，尤其在模型容量受限时更为显著。
• 令人意外的是，使用 BiO-Net 的浅层编码器性能优于深层编码器，表明深度本身并不能保证性能提升。