[论文解读] OEM for least squares problems

Shifeng Xiong, Bin Dai+1 more|arXiv (Cornell University)|Jul 31, 2011

Sparse and Compressive Sensing Techniques参考文献 32被引用 3

一句话总结

本文提出正交化期望最大化（OEM）算法以求解最小二乘问题，包括普通最小二乘及带有Lasso、SCAD、MCP等惩罚项的正则化最小二乘问题。通过迭代正交化设计矩阵并填补缺失响应，OEM在矩阵奇异时收敛至Moore-Penrose估计器，对非凸惩罚项实现Oracle性质，且在正则化问题中收敛更快。

ABSTRACT

We propose an algorithm, called OEM (a.k.a. orthogonalizing EM), intended for var- ious least squares problems. The first step, named active orthogonization, orthogonalizes an arbi- trary regression matrix by elaborately adding more rows. The second step imputes the responses of the new rows. The third step solves the least squares problem of interest for the complete orthog- onal design. The second and third steps have simple closed forms, and iterate until convergence. The algorithm works for ordinary least squares and regularized least squares with the lasso, SCAD, MCP and other penalties. It has several attractive theoretical properties. For the ordinary least squares with a singular regression matrix, an OEM sequence converges to the Moore-Penrose gen- eralized inverse-based least squares estimator. For the SCAD and MCP, an OEM sequence can achieve the oracle property after sufficient iterations for a fixed or diverging number of variables. For ordinary and regularized least squares with various penalties, an OEM sequence converges to a point having grouping coherence for fully aliased regression matrices. Convergence and convergence rate of the algorithm are examined. These convergence rate results show that for the same data set, OEM converges faster for regularized least squares than ordinary least squares. This provides a new theoretical comparison between these methods. Numerical examples are provided to illustrate the proposed algorithm.

研究动机与目标

• 开发一种统一算法，用于求解任意设计矩阵下的普通与正则化最小二乘问题。
• 克服现有方法要求设计矩阵可嵌入预设正交矩阵的局限性。
• 在普通与正则化设置下，建立收敛性与收敛速率的理论保证。
• 证明OEM在SCAD与MCP等非凸惩罚下可实现Oracle性质，并确保共线变量的分组一致性。
• 提供新的理论比较，表明在相同数据条件下，正则化最小二乘的收敛速度优于普通最小二乘。

提出的方法

• OEM算法通过向任意回归矩阵添加行，实现主动正交化，从而形成完整的正交设计。
• 在每次迭代中，算法利用当前系数向量估计值填补新添加行的缺失响应。
• 利用更新后的响应向量与正交设计矩阵，以闭式解法求解最小二乘问题，避免矩阵求逆。
• 对于正则化问题，算法在优化步骤中引入Lasso、SCAD与MCP等惩罚项，保持闭式更新。
• 算法在填补与估计步骤间交替进行，在较弱正则性条件下收敛至稳定点。
• 理论分析采用鞅与集中不等式，建立收敛性与收敛速率的界，尤其适用于高维情形。

实验结果

研究问题

• RQ1 能否开发一种算法，可在不预设正交性的情况下求解任意设计矩阵的最小二乘问题？
• RQ2 当设计矩阵秩亏时，OEM算法是否收敛至Moore-Penrose广义逆估计器？
• RQ3 在高维情形下，OEM能否对SCAD与MCP等非凸惩罚实现Oracle性质？
• RQ4 OEM是否能确保分组一致性，即对完全共线的预测变量赋予相同系数？
• RQ5 为何在相同数据条件下，OEM在正则化最小二乘问题中的收敛速度优于普通最小二乘？

主要发现

• 对于奇异设计矩阵的普通最小二乘问题，OEM序列收敛至基于Moore-Penrose广义逆的最小二乘估计器。
• 对于SCAD与MCP惩罚，OEM序列在足够迭代次数后实现Oracle性质，即使变量数发散。
• OEM算法确保对完全共线列的分组一致性，即此类变量被一同选中或剔除。
• OEM的收敛速率在正则化最小二乘问题中快于普通最小二乘，为两类方法的比较提供了新的理论基础。
• 理论界表明，在适当正则性条件下，正确变量选择的概率随样本量与信号强度呈指数增长。
• 该算法对高维情形具有鲁棒性，在误差与设计矩阵结构满足弱假设下，随着样本量增加，收敛概率趋近于1。