[论文解读] HyperFusion-Net: Densely Reflective Fusion for Salient Object Detection

Pingping Zhang, Huchuan Lu+1 more|arXiv (Cornell University)|Apr 14, 2018

Visual Attention and Saliency Detection参考文献 40被引用 3

一句话总结

HyperFusion-Net 提出了一种新颖的端到端框架，用于显著性物体检测，通过内容保持变换将输入图像分解为反射图像对，然后利用交织卷积神经网络与超密集融合机制融合多尺度特征。该方法在七个公开基准上实现了最先进性能，显著优于先前方法，其优势源于受人类感知启发的图像反射与分层特征融合机制。

ABSTRACT

Salient object detection (SOD), which aims to find the most important region of interest and segment the relevant object/item in that area, is an important yet challenging vision task. This problem is inspired by the fact that human seems to perceive main scene elements with high priorities. Thus, accurate detection of salient objects in complex scenes is critical for human-computer interaction. In this paper, we present a novel feature learning framework for SOD, in which we cast the SOD as a pixel-wise classification problem. The proposed framework utilizes a densely hierarchical feature fusion network, named HyperFusion-Net, automatically predicts the most important area and segments the associated objects in an end-to-end manner. Specifically, inspired by the human perception system and image reflection separation, we first decompose input images into reflective image pairs by content-preserving transforms. Then, the complementary information of reflective image pairs is jointly extracted by an interweaved convolutional neural network (ICNN) and hierarchically combined with a hyper-dense fusion mechanism. Based on the fused multi-scale features, our method finally achieves a promising way of predicting SOD. As shown in our extensive experiments, the proposed method consistently outperforms other state-of-the-art methods on seven public datasets with a large margin.

研究动机与目标

• 为解决显著性物体检测（SOD）中单线索与非互补特征融合的局限性。
• 通过图像反射分离等人类感知机制，提升 SOD 性能。
• 开发统一的端到端框架，通过分层融合多尺度特征，生成更具判别性与空间一致性的显著图。
• 通过利用反射图像对中的互补信息，降低计算开销并增强特征表示能力。
• 在复杂光照与对比度条件下，于多样化且具有挑战性的基准上超越现有最先进方法。

提出的方法

• 该方法利用内容保持变换将输入 RGB 图像分解为反射图像对，以模拟人类视觉对光与影的感知。
• 一种具有两条权重拼接分支与一条超融合分支的交织卷积神经网络（ICNN），联合提取来自反射图像对的互补特征。
• 一种超密集融合机制分层结合来自两个分支的多级特征，实现丰富的跨尺度与跨模态特征交互。
• 该框架集成了多种损失函数：二元交叉熵（BCE）、加权二元交叉熵（wBCE）与结构感知感知损失（sp），以优化显著性预测。
• 模型采用 VGG-16 主干网络进行端到端训练，特征融合在多个层级发生，以保留空间上下文与物体边界信息。
• 该方法在七个公开数据集上进行评估，消融实验验证了图像反射、融合策略与损失设计的贡献。

实验结果

研究问题

• RQ1 通过模拟人类对光与影的感知，图像反射分离能否提升显著性物体检测性能？
• RQ2 结合反射图像对特征的超密集融合机制，是否能生成更准确且边界感知更强的显著图？
• RQ3 所提出的交织卷积神经网络架构在性能与效率方面，相较于标准融合策略表现如何？
• RQ4 多种损失函数（BCE、wBCE、sp）的集成在多大程度上提升了检测的鲁棒性与准确性？
• RQ5 该方法在具有不同光照、对比度与物体复杂度的多样化数据集上是否具备良好的泛化能力？

主要发现

• HyperFusion-Net 在七个公开基准上表现最佳，ECSSD 数据集上 F-measure 达 0.903，显著优于先前最先进方法。
• 采用图像反射分离与超密集融合的模型在 ECSSD 上实现 MAE 为 0.050，较无反射分离的基线模型提升 15%。
• 消融实验表明，结合 wBCE 与结构感知损失（sp）可获得最高 S-measure（0.903），证实多损失优化的有效性。
• 与晚期融合相比，超密集融合策略使 F-measure 提升 4.1%；与早期融合相比提升 3.1%，证明其在特征整合中的有效性。
• 该方法在多对比度与阴影场景等复杂条件下表现出优越鲁棒性，而其他模型在这些场景中难以准确检测显著物体。
• 失败案例显示，当显著物体呈现分散或高度可变的显著性时，模型在细粒度细节检测方面仍存在改进空间。