[论文解读] Meticulous Object Segmentation

Chenglin Yang, Yilin Wang+4 more|arXiv (Cornell University)|Dec 13, 2020

Visual Attention and Saliency Detection参考文献 49被引用 4

一句话总结

本文提出了细致对象分割（Meticulous Object Segmentation, MOS），一项专注于高分辨率（2k–4k）图像中复杂、精细细节对象分割的新任务。作者提出 MeticulousNet，一种采用递归、分层逐点精炼解码器的网络，显著提升了边界准确率与掩码质量，在新发布的 MOS600 基准测试中取得最先进性能，MQ 得分为 78.16。

ABSTRACT

Compared with common image segmentation tasks targeted at low-resolution images, higher resolution detailed image segmentation receives much less attention. In this paper, we propose and study a task named Meticulous Object Segmentation (MOS), which is focused on segmenting well-defined foreground objects with elaborate shapes in high resolution images (e.g. 2k - 4k). To this end, we propose the MeticulousNet which leverages a dedicated decoder to capture the object boundary details. Specifically, we design a Hierarchical Point-wise Refining (HierPR) block to better delineate object boundaries, and reformulate the decoding process as a recursive coarse to fine refinement of the object mask. To evaluate segmentation quality near object boundaries, we propose the Meticulosity Quality (MQ) score considering both the mask coverage and boundary precision. In addition, we collect a MOS benchmark dataset including 600 high quality images with complex objects. We provide comprehensive empirical evidence showing that MeticulousNet can reveal pixel-accurate segmentation boundaries and is superior to state-of-the-art methods for high resolution object segmentation tasks.

研究动机与目标

• 解决现有方法普遍聚焦于低分辨率图像，而缺乏对高分辨率、细粒度对象分割的关注。
• 正式提出一项新任务——细致对象分割（Meticulous Object Segmentation, MOS），以实现对 2k–4k 图像中复杂、细节丰富的前景对象的精确分割。
• 提出一种新的评估指标——细致度质量（Meticulosity Quality, MQ），在掩码覆盖度与边界精确度之间实现平衡，以反映真实世界分割任务的需求。
• 发布 MOS600 基准数据集，包含 600 张高质量、复杂对象图像及像素级精确标注，确保评估的公平性。
• 提出 MeticulousNet 作为强基准模型，其采用新颖的递归、自粗到精的精炼解码器，用于恢复高分辨率图像中的边界细节。

提出的方法

• 设计一种分层逐点精炼（Hierarchical Point-wise Refining, HierPR）模块，实现在多个层级上的局部化、基于不确定性的掩码精炼。
• 将解码过程重新构型为递归的、自粗到精的掩码精炼过程，通过迭代方式逐步提升分辨率与边界准确率。
• 将解码器与双路径网络架构结合：低分辨率模型（MeticulousNet_L）用于初始预测，高分辨率模型（MeticulousNet_H）用于后续精炼。
• 在低分辨率与高分辨率阶段均采用共享的 MeticulousNet 架构，以保持一致性并支持端到端训练。
• 通过可配置的精炼区域百分比（如 10%）控制局部精炼范围，避免对噪声的过拟合。
• 通过展示与轻量化编码器（如 MobileNetV3）的兼容性，提升模型灵活性，使参数量减少 20 倍，性能仅下降 0.73%。

实验结果

研究问题

• RQ1 与现有最先进方法相比，分割模型是否能在复杂、精细边界对象的高分辨率图像上实现更优性能？
• RQ2 所提出的递归、自粗到精的精炼机制在高分辨率分割中如何提升边界准确率与掩码质量？
• RQ3 分层逐点精炼（HierPR）模块在不降低全局掩码覆盖度的前提下，对局部边界划分的增强程度如何？
• RQ4 与传统指标（如 IoU 和 mBA）相比，新提出的细致度质量（MQ）指标在捕捉边界精确度与掩码完整性之间权衡方面表现如何？
• RQ5 所提出的 MeticulousNet 架构是否能跨不同编码器主干网络（包括轻量化主干）实现泛化，同时在 MOS 任务中保持高性能？

主要发现

• MeticulousNet 在 MOS600 的低分辨率版本上取得 78.16 的 MQ 得分，显著优于基线模型与现有最先进方法。
• HierPR 与递归精炼的结合使 IoU 提升 2.01%，mBA 提升 1.93%，MQ 提升 1.12%，表明二者具有显著互补性。
• 在 HierPR 中使用 10% 的精炼区域可实现最优性能，而更高比例（15%、20%）导致性能下降，原因在于对噪声的过拟合。
• MeticulousNet 的轻量化版本（mobile_MeticulousNet）参数量减少 20 倍，MQ 仅下降 0.73%，证明其出色的模型适应能力。
• 失败案例主要源于对颜色变化与高频纹理的过拟合，表明未来工作需提升对局部颜色变化的鲁棒性。
• MOS600 基准数据集包含 600 张高分辨率图像，其对象形状复杂且精巧，为 MOS 评估提供了真实且具有挑战性的测试平台。