[论文解读] Fast L1-Minimization Algorithms For Robust Face Recognition

Allen Y. Yang, Zihan Zhou+3 more|arXiv (Cornell University)|Jul 21, 2010

Sparse and Compressive Sensing Techniques参考文献 52被引用 103

一句话总结

本文提出并评估了基于增广拉格朗日法（ALM）的快速ℓ₁-最小化算法，用于鲁棒的人脸识别，在现有求解器中展现出更优的速度和可扩展性。原始ALM（PALM）在人脸对齐任务中实现了最快性能，而对偶ALM在大规模分类任务中表现出色，其在速度和准确率方面均优于内点法、FISTA、TFOCS等方法，且在基准数据集上表现优异。

ABSTRACT

L1-minimization refers to finding the minimum L1-norm solution to an underdetermined linear system b=Ax. Under certain conditions as described in compressive sensing theory, the minimum L1-norm solution is also the sparsest solution. In this paper, our study addresses the speed and scalability of its algorithms. In particular, we focus on the numerical implementation of a sparsity-based classification framework in robust face recognition, where sparse representation is sought to recover human identities from very high-dimensional facial images that may be corrupted by illumination, facial disguise, and pose variation. Although the underlying numerical problem is a linear program, traditional algorithms are known to suffer poor scalability for large-scale applications. We investigate a new solution based on a classical convex optimization framework, known as Augmented Lagrangian Methods (ALM). The new convex solvers provide a viable solution to real-world, time-critical applications such as face recognition. We conduct extensive experiments to validate and compare the performance of the ALM algorithms against several popular L1-minimization solvers, including interior-point method, Homotopy, FISTA, SESOP-PCD, approximate message passing (AMP) and TFOCS. To aid peer evaluation, the code for all the algorithms has been made publicly available.

研究动机与目标

• 解决大规模、高维人脸识别任务中ℓ₁-最小化带来的计算瓶颈问题。
• 提升ℓ₁-最小化算法在实时应用（如人脸识别和对齐）中的可扩展性和运行时效率。
• 在实际、真实世界计算机视觉场景中，评估并比较现代ℓ₁-最小化求解器的性能。
• 识别在污染和变化条件下，基于稀疏表示的人脸识别中最高效且准确的算法。
• 提供开源代码，以确保算法间的可复现性和公平基准测试。

提出的方法

• 采用增广拉格朗日法（ALM）框架求解ℓ₁-最小化问题，将约束性基追踪去噪（BPDN）问题重新表述为对偶或原始优化形式。
• 实现原始和对偶ALM变体（PALM和DALM），用于求解人脸识别中的稀疏表示问题，利用交替方向法实现收敛。
• 使用基于连续迭代之间差值的范数的相对收敛准则：‖wₖ₊₁ − wₖ‖₂ / ‖wₖ‖₂ < tol，以控制所有算法的终止条件。
• 通过求解一系列用于平移和旋转校正的稀疏恢复问题，将ℓ₁-最小化框架应用于人脸对齐。
• 在相同停止准则下，将基于ALM的求解器（PALM、PDIPA、L1LS、DALM）与FISTA、TFOCS、同伦法和内点法等成熟方法进行比较。
• 在具有不同程度污染、遮挡和姿态变化的真实人脸数据集上进行实验，以评估算法的鲁棒性和速度。

实验结果

研究问题

• RQ1 在真实世界污染条件下，哪种ℓ₁-最小化算法在速度与准确率之间实现了最佳平衡？
• RQ2 在大规模人脸识别中，不同算法在样本数量和图像维度增加时的可扩展性如何？
• RQ3 在不同算法间，平衡准确率与计算成本的最优容差水平（tol）是什么？
• RQ4 在实际、时间敏感的应用中，基于ALM的求解器能否优于经典和加速求解器（如FISTA和TFOCS）？
• RQ5 不同算法在不同类型的人脸对齐任务（平移与旋转）及不同噪声水平下的性能表现如何？

主要发现

• 原始ALM（PALM）整体上速度最快，在人脸对齐任务中运行时间最短，尤其在较高容差水平下表现更优（例如，tol = 10⁻²）。
• 在相同容差水平下，PALM、PDIPA和L1LS在速度和成功率方面始终优于FISTA、TFOCS和SESOP-PCD。
• FISTA和TFOCS需要极小的容差（≤10⁻⁴）才能达到高成功率，导致计算成本过高，难以用于实时应用。
• SESOP-PCD在实验中表现最差，即使在低容差水平下也未能达到其他算法的成功率。
• 对偶ALM（DALM）展现出极佳的可扩展性和鲁棒性，适用于包含大量人员的大规模人脸识别。
• 对于PALM、PDIPA和L1LS，迭代次数在不同容差水平下几乎保持不变，表明其具有稳定的收敛行为，尽管每轮迭代的计算成本存在差异。