[论文解读] Boundary-Aware Network for Fast and High-Accuracy Portrait Segmentation
本文提出边界感知网络（BANet），一种轻量化、实时的人像分割模型，通过边界注意力机制和一种新颖的精炼损失函数，增强了边界细节的提取能力。BANet 在 512×512 图像上实现 43 FPS 的推理速度，生成的分割结果在细节质量上优于人工标注掩码，尽管参数量极小（0.62 MB），但仍显著优于先前方法。
Compared with other semantic segmentation tasks, portrait segmentation requires both higher precision and faster inference speed. However, this problem has not been well studied in previous works. In this paper, we propose a lightweight network architecture, called Boundary-Aware Network (BANet) which selectively extracts detail information in boundary area to make high-quality segmentation output with real-time( >25FPS) speed. In addition, we design a new loss function called refine loss which supervises the network with image level gradient information. Our model is able to produce finer segmentation results which has richer details than annotations.
研究动机与目标
- 解决缺乏实时、高精度人像分割模型的问题，以保留头发和衣物边缘等精细细节。
- 克服粗略人工标注和传统语义分割模型因下采样特征图而导致细节丢失的局限性。
- 设计一种适合移动端部署的轻量化网络架构，同时保持最先进的边界保真度。
- 提出一种新颖的训练策略，通过图像梯度监督，使模型学习到超越标注质量的细节。
提出的方法
- 提出双分支网络架构：一个高层语义分支和一个由边界注意力图引导的低层特征挖掘分支。
- 设计一种边界注意力机制，通过高层特征关注低层细节，实现对边缘区域的选择性聚焦。
- 引入一种精炼损失函数，利用图像级梯度信息监督边界优化，使模型能够学习到比标注更精细的细节。
- 通过深度可分离卷积和通道剪枝优化网络效率，仅使用 0.62 MB 参数。
- 采用多尺度训练与推理策略，以在不同输入分辨率下保持性能。
- 在 Supervise.ly 数据集上端到端训练模型，利用其高质量标注作为强基线。
实验结果
研究问题
- RQ1轻量化分割网络是否能在实现≥25 FPS 实时推理的同时，生成比人工标注掩码更高质量的边界？
- RQ2边界注意力机制在不增加模型复杂度的前提下，是否能有效提升对物体边界的特征提取能力？
- RQ3基于图像梯度的精炼损失函数在多大程度上能将细节质量提升至超过真实标注分辨率？
- RQ4在有限数据（1,400 张图像）下训练的模型是否具备足够的泛化能力，适用于移动端部署，同时在边界保真度上超越更大模型？
- RQ5边界注意力与精炼损失的组合在 mIoU 和视觉细节质量方面，相较于标准损失函数表现如何？
主要发现
- BANet-64 在 512×512 图像上实现 43 FPS，仅使用 0.62 MB 参数，显著优于 PFCN+（134.27 MB）和 U-Net（13.40 MB）的模型效率。
- 尽管 mIoU 略低（95.80%）于 PFCN+（95.92%），BANet-64 生成的分割结果边界仍优于 KNN 标注掩码，表明其细节质量更优。
- 消融实验表明，边界注意力使 mIoU 提升 0.3%，精炼损失使 mIoU 提升 0.6%，视觉结果在边缘锐度上表现显著改善。
- BANet-512 在 12.75 MB 参数下实现 96.13% mIoU，推理速度达 29 FPS，精度超越其他模型，同时保持实时性能。
- 模型生成结果优于标注的事实表明，精炼损失能有效学习到超越标注质量的细节。
- 在移动端部署中，BANet-64 因体积小、速度快，适用于背景替换、图像美颜等实时应用。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。