[论文解读] High-Quality Correspondence and Segmentation Estimation for Dual-Lens Smart-Phone Portraits

Xiaoyong Shen, Hongyun Gao+3 more|arXiv (Cornell University)|Apr 7, 2017

Advanced Image and Video Retrieval Techniques参考文献 26被引用 3

一句话总结

本文提出一种使用全连接条件随机场（CRF）的联合优化框架，以同时提升双镜头智能手机人像图像中的密集对应关系与语义分割性能。通过引入区域对应关系以降低计算成本，并利用人体先验知识，该方法实现了最先进性能，在新构建的2,000张人像图像数据集上，平均端点误差降低至5.29，平均IoU提升至88.33%。

ABSTRACT

Estimating correspondence between two images and extracting the foreground object are two challenges in computer vision. With dual-lens smart phones, such as iPhone 7Plus and Huawei P9, coming into the market, two images of slightly different views provide us new information to unify the two topics. We propose a joint method to tackle them simultaneously via a joint fully connected conditional random field (CRF) framework. The regional correspondence is used to handle textureless regions in matching and make our CRF system computationally efficient. Our method is evaluated over 2,000 new image pairs, and produces promising results on challenging portrait images.

研究动机与目标

• 为解决双镜头智能手机人像图像中密集对应关系与语义分割的挑战，这些挑战源于无纹理区域、遮挡和噪声的影响。
• 将对应关系估计与语义分割统一到单一联合优化框架中，通过相互优化提升两项任务的性能。
• 通过引入区域对应关系，降低全连接CRF推理中的计算成本，将每张图像的标签数量限制在40个以下。
• 通过人体结构先验与鲁棒特征匹配，提升在具有挑战性的人像数据上的性能，特别是在人体边界区域与低纹理区域。

提出的方法

• 构建联合全连接CRF模型，整合对应关系与语义分割特征，实现密集光流与像素级语义标签之间的相互优化。
• 引入区域对应关系以限制CRF的标签空间，将逐像素位移图替换为区域级标签，将推理复杂度从O(N²)降低至O(N)，其中N为图像区域数量。
• 采用现有模型（如MDP、LDOF）进行粗到细的光流初始化，并利用CNN特征与结合人体先验的CRF优化进行细化。
• 语义分割通过在新构建的人像专用数据集上微调FCN或CRFasRNN模型进行初始化，并通过对应关系引导的CRF推理进一步优化。
• 采用联合优化策略，交替更新对应关系与分割结果，使用统一的CRF能量函数建模空间一致性与外观相似性。
• CRF能量函数包含用于光流平滑性、分割置信度以及对应关系与分割标签之间兼容性的数据项。

实验结果

研究问题

• RQ1 与独立方法相比，使用全连接CRF进行对应关系与分割的联合优化是否能提升双镜头人像图像的性能？
• RQ2 区域对应关系在降低计算成本的同时，是否能保持或提升密集对应关系估计的准确性？
• RQ3 人体先验与对应关系和分割之间的相互优化，在无纹理区域与边界区域中能在多大程度上减少误差？
• RQ4 联合模型是否能优于对对应关系与分割分别进行优化的方法？

主要发现

• 所提出的联合模型在新构建的人像数据集上实现了88.33%的平均交并比（IoU），显著优于基线模型如FCN（79.51%）、DeepLab（80.09%）和CRFasRNN（80.23%）。
• 联合模型将平均端点误差（AEPE）降低至5.29，优于所有对比方法，包括MDP（8.23）、LDOF（8.32）和DeepFlow（7.87）。
• 使用区域对应关系将每张图像的推理时间从186.3秒降低至16.63秒，同时将AEPE从6.45降低至5.29，证明了在速度与精度上的双重提升。
• 仅对分割进行单独优化（Ours-separate）的IoU为84.32%，而联合模型将其提升至88.33%，证明了相互优化的优势。
• 视觉对比显示，该方法显著减少了在人体边界与无纹理区域（如皮肤与头发）中的误差，而先前方法在这些区域表现不佳。
• 通过利用高层人体结构与对应关系的一致性，该方法对低纹理与遮挡区域具有鲁棒性。