[论文解读] LF Tracy: A Unified Single-Pipeline Approach for Salient Object Detection in Light Field Cameras

Fei Teng, Jiaming Zhang+5 more|arXiv (Cornell University)|Jan 30, 2024

Visual Attention and Saliency Detection被引用 4

一句话总结

本论文提出 LF Tracy，一种用于光场（LF）相机显著物体检测的统一单流框架，通过新颖的数据增强策略（MixLD）和高效的特征聚合（IA）模块，增强空间、深度与角度特征之间的预网络及网络内连接性。该方法在 PKU 数据集上实现 23% 的相对性能提升，并在仅增加 300 万个参数的情况下，相较于 RGB 主干网络实现 10% 的准确率增益。

ABSTRACT

Leveraging rich information is crucial for dense prediction tasks. Light field (LF) cameras are instrumental in this regard, as they allow data to be sampled from various perspectives. This capability provides valuable spatial, depth, and angular information, enhancing scene-parsing tasks. However, we have identified two overlooked issues for the LF salient object detection (SOD) task. (1): Previous approaches predominantly employ a customized two-stream design to discover the spatial and depth features within light field images. The network struggles to learn the implicit angular information between different images due to a lack of intra-network data connectivity. (2): Little research has been directed towards the data augmentation strategy for LF SOD. Research on inter-network data connectivity is scant. In this study, we propose an efficient paradigm (LF Tracy) to address those issues. This comprises a single-pipeline encoder paired with a highly efficient information aggregation (IA) module (around 8M parameters) to establish an intra-network connection. Then, a simple yet effective data augmentation strategy called MixLD is designed to bridge the inter-network connections. Owing to this innovative paradigm, our model surpasses the existing state-of-the-art method through extensive experiments. Especially, LF Tracy demonstrates a 23% improvement over previous results on the latest large-scale PKU dataset. The source code is publicly available at: https://github.com/FeiBryantkit/LF-Tracy.

研究动机与目标

• 解决现有显著物体检测（SOD）方法中不同光场表示形式（如全聚焦图像与焦点堆栈图像）之间预网络数据连接性不足的问题。
• 克服因光场图像中非对称数据构建导致的网络内特征不匹配问题，尤其在聚焦与非聚焦区域之间。
• 用统一的单流架构替代传统双流主干网络，以增强特征融合能力与判别性能。
• 在仅增加极少参数的前提下实现最先进性能，并具备高效率，尤其适用于大规模数据集。
• 通过单一统一的特征提取流水线，有效整合空间、深度与隐式角度信息。

提出的方法

• 提出 MixLD，一种数据增强策略，通过可学习混合率 α 和 β 将焦点堆栈（FS）切片混合到全聚焦（AF）图像中，以建立不同光场表示之间的预网络连接性。
• 引入信息聚合（IA）模块，用于在单一主干网络内对不同光场表示形式的非对称特征进行对齐与融合，从而减少特征不匹配问题。
• 采用单流主干网络（PVTv2）同时从所有光场表示中提取特征，替代双流架构，实现端到端的特征学习。
• 利用统一的单流框架维持网络内数据连接性，使网络能够通过跨表示形式的联合特征学习，自动学习隐式角度信息。
• 通过混合率搜索（α = β）优化 MixLD 性能，最佳结果在 α = β = 0.5 时取得。
• 通过消融实验验证 MixLD、IA 模块及主干网络选择的有效性，以 MAE 为主要评估指标。

实验结果

研究问题

• RQ1 如何改善不同光场表示形式（AF 与 FS）之间的预网络数据连接性，以增强 SOD 中的特征学习？
• RQ2 网络内信息聚合模块在多大程度上缓解了非对称光场表示形式之间的特征不匹配问题？
• RQ3 统一的单流架构是否能优于传统的双流设计，在光场显著物体检测任务中表现更优？
• RQ4 在 MAE 和模型性能方面，MixLD 增强策略的最优混合率是多少？
• RQ5 主干网络的选择如何影响统一的 LF Tracy 框架的性能表现？

主要发现

• LF Tracy 在大规模 PKU 数据集上相较于先前最先进方法实现了 23% 的相对性能提升。
• 仅使用 2890 万个参数，该模型在 RGB 主干网络基础上实现 10% 的准确率增益，并在 LF 主干网络基础上实现 86% 的性能提升。
• MixLD 的最优混合率为 α = β = 0.5；偏离该值将显著降低性能，当 α = β = 7 时，MAE 从 0.046 上升至 0.073。
• 当使用 12 张 FS 图像时，IA 模块可将 MAE 从无 IA 时的 0.332 降低至 0.046，证明其在处理非对称数据方面的有效性。
• PVTv2 主干网络优于 AgentPVT，其 MAE 为 0.072，而后者为 0.142，表明并非所有自注意力机制主干网络均适用于本任务。
• 消融实验表明，MixLD 与 IA 模块均不可或缺：若移除任一模块，性能将显著下降，MAE 分别上升至 0.057 和 0.332。