[论文解读] Learning Synergistic Attention for Light Field Salient Object Detection

Yi Zhang, Geng Chen+6 more|arXiv (Cornell University)|Apr 28, 2021

Visual Attention and Saliency Detection参考文献 51被引用 11

一句话总结

本文提出SA-Net，一种用于光场显著性目标检测的新型深度学习框架，通过协同注意力机制融合全景对焦（AiF）图像和聚焦堆栈（FSs）的特征。通过采用3D卷积神经网络进行序列特征提取，引入协同注意力模块以优化跨模态特征，并设计渐进式融合模块，SA-Net在三个基准数据集上实现了最先进性能，超越了28种现有模型。

ABSTRACT

We propose a novel Synergistic Attention Network (SA-Net) to address the light field salient object detection by establishing a synergistic effect between multi-modal features with advanced attention mechanisms. Our SA-Net exploits the rich information of focal stacks via 3D convolutional neural networks, decodes the high-level features of multi-modal light field data with two cascaded synergistic attention modules, and predicts the saliency map using an effective feature fusion module in a progressive manner. Extensive experiments on three widely-used benchmark datasets show that our SA-Net outperforms 28 state-of-the-art models, sufficiently demonstrating its effectiveness and superiority. Our code is available at https://github.com/PanoAsh/SA-Net.

研究动机与目标

• 为解决现有光场显著性目标检测模型在全景对焦（AiF）图像与聚焦堆栈（FSs）之间互补特征利用不足的问题。
• 通过引入协同注意力机制，实现对AiF和FS模态中相关特征的选择性增强，提升跨模态特征融合效果。
• 在编码过程中逐步建模聚焦堆栈中的切片间关系，捕捉深度感知的上下文信息。
• 设计渐进式融合模块，通过多阶段特征融合逐步优化显著性预测结果。

提出的方法

• 利用3D卷积神经网络从聚焦堆栈中提取序列特征，捕捉不同对焦切片中的深度依赖空间细节。
• 提出协同注意力（SA）模块，通过通道注意力和空间注意力机制联合优化来自AiF图像和FSs的特征，增强互补表征能力。
• 采用渐进式融合（PF）模块，在解码器的多个阶段融合多模态特征，逐步优化显著性图。
• 训练过程中应用自适应阈值和多尺度监督，以提升边界精度和泛化能力。
• 采用F-measure、MAE、S-measure和E-measure四项评估指标，全面评估在基准数据集上的性能表现。
• 采用端到端训练方式，以真实显著性图作为监督信号，通过联合损失函数优化，平衡定位精度与分割准确性。

实验结果

研究问题

• RQ1 如何在光场显著性目标检测中有效建模全景对焦图像与聚焦堆栈之间的跨模态互补性？
• RQ2 协同注意力机制是否能通过选择性强调不同模态中的显著区域来改善特征融合？
• RQ3 对聚焦切片序列的渐进式建模在多大程度上提升了光场SOD中的深度感知表征学习能力？
• RQ4 与最先进模型相比，所提出的SA-Net在定量指标和定性分割质量方面表现如何？

主要发现

• SA-Net在三个广泛使用的光场SOD基准数据集（DUT-LF、HFUT和LFSD）上达到最先进性能，超越28种现有模型。
• 在DUT-LF数据集上，SA-Net取得F-measure为0.918，MAE为0.038，S-measure为0.889，E-measure为0.912，展现出卓越的准确性和鲁棒性。
• 定性结果表明，与最先进模型相比，SA-Net生成的显著性图具有更清晰的物体边界，且误检和漏检更少。
• 消融实验验证了协同注意力模块与渐进式融合模块对性能的显著提升作用，证实了其设计选择的有效性。
• 该模型在多样化场景和深度分布下表现出强泛化能力，表明其有效建模了深度感知与多模态特征。
• 代码已公开发布于 https://github.com/PanoAsh/SA-Net，支持可复现性与进一步研究。