[论文解读] A Convex Approach for Image Hallucination

Peter Innerhofer, Thomas Pock|arXiv (Cornell University)|Apr 26, 2013

Advanced Image Processing Techniques参考文献 4被引用 5

一句话总结

本文提出了一种用于单图像人脸幻像重建的凸优化框架，利用数据库中对齐的人脸图像恢复高频细节。通过构建包含总变差正则化、重建约束和抗异常值的幻像项的全局凸对偶问题，该方法在PubFig83数据集上实现了最先进的PSNR（24.13 dB）和SSIM（0.750），优于以往的非凸方法。

ABSTRACT

In this paper we propose a global convex approach for image hallucination. Altering the idea of classical multi image super resolution (SU) systems to single image SU, we incorporate aligned images to hallucinate the output. Our work is based on the paper of Tappen et al. where they use a non-convex model for image hallucination. In comparison we formulate a convex primal optimization problem and derive a fast converging primal-dual algorithm with a global optimal solution. We use a database with face images to incorporate high-frequency details to the high-resolution output. We show that we can achieve state-of-the-art results by using a convex approach.

研究动机与目标

• 通过整合来自相似图像的高频细节，解决单图像超分辨率问题的病态性。
• 克服非凸模型在图像幻像重建中的局限性，如陷入局部极小值以及对候选图像选择质量的敏感性。
• 基于凸优化原理，开发一种全局最优且快速收敛的幻像算法。
• 通过凸公式化提升对候选图像选择中对齐误差和异常值的鲁棒性。

提出的方法

• 将总变差（TV）正则化、重建约束和基于L1的幻像项结合，构建一个凸原始最小化问题。
• 使用SIFTFlow基于对齐能量搜索并匹配数据库中的相似人脸图像，替代PatchMatch进行候选选择。
• 从原始公式推导出一个通用的鞍点问题，并采用Chambolle等人提出的快速收敛原始-对偶算法求解。
• 在共轭梯度法中应用“热启动”初始化，以加速线性系统求解的收敛速度。
• 对彩色图像采用逐通道优化，未来工作建议采用向量型总变差以改善色彩处理。
• 使用下采样后的双三次插值低分辨率输入（25×25）和对齐的候选图像（100×100），以估计高分辨率输出（100×100）。

实验结果

研究问题

• RQ1 凸优化框架是否能在保证全局最优的前提下，实现优于或相当的幻像性能，相比非凸模型？
• RQ2 从数据库中引入对齐的候选图像，如何提升单图像超分辨率中的高频细节恢复能力？
• RQ3 与非凸模型相比，该凸幻像模型的鲁棒性在多大程度上降低了对劣质或错位候选图像的敏感性？
• RQ4 正则化项与约束项（TV、重建、幻像）的选择在多大程度上影响感知质量以及PSNR和SSIM等定量指标？

主要发现

• 所提出的凸方法在PubFig83数据集上实现了24.13 dB的平均PSNR，优于Tappen等人提出的非凸方法（24.05 dB）。
• 该方法实现了0.750的平均SSIM指数，略高于Tappen等人方法的0.748，表明结构相似性有所提升。
• 由于采用了原始-对偶方法结合共轭梯度求解器和热启动初始化，算法收敛迅速。
• 实验表明，通过SIFTFlow实现的高质量对齐至关重要——即使候选选择良好，若对齐不佳，仍会导致输出模糊。
• 由于采用基于L1的幻像项，该方法对候选图像中的异常值表现出更强的鲁棒性，相比非凸模型可显著减少伪影。
• 即使在高下采样因子下，该方法仍保持优异性能，结果保持视觉清晰且细节丰富。