[論文レビュー] OEM for least squares problems

Shifeng Xiong, Bin Dai+1 more|arXiv (Cornell University)|Jul 31, 2011

Sparse and Compressive Sensing Techniques参考文献 32被引用数 3

ひとこと要約

この論文では、lasso、SCAD、MCPなどの罰則を含む通常および正則化された最小二乗問題を解くために、直交化EM（OEM）アルゴリズムを提案している。繰り返し設計行列を直交化し、欠損応答を補完することで、特異行列の場合にはムーア・ペンローズ推定量に収束し、非凸罰則ではオラクル性を達成する。正則化問題では収束が速い。

ABSTRACT

We propose an algorithm, called OEM (a.k.a. orthogonalizing EM), intended for var- ious least squares problems. The first step, named active orthogonization, orthogonalizes an arbi- trary regression matrix by elaborately adding more rows. The second step imputes the responses of the new rows. The third step solves the least squares problem of interest for the complete orthog- onal design. The second and third steps have simple closed forms, and iterate until convergence. The algorithm works for ordinary least squares and regularized least squares with the lasso, SCAD, MCP and other penalties. It has several attractive theoretical properties. For the ordinary least squares with a singular regression matrix, an OEM sequence converges to the Moore-Penrose gen- eralized inverse-based least squares estimator. For the SCAD and MCP, an OEM sequence can achieve the oracle property after sufficient iterations for a fixed or diverging number of variables. For ordinary and regularized least squares with various penalties, an OEM sequence converges to a point having grouping coherence for fully aliased regression matrices. Convergence and convergence rate of the algorithm are examined. These convergence rate results show that for the same data set, OEM converges faster for regularized least squares than ordinary least squares. This provides a new theoretical comparison between these methods. Numerical examples are provided to illustrate the proposed algorithm.

研究の動機と目的

• 任意の設計行列を用いた通常および正則化された最小二乗問題を統一的に解くアルゴリズムの開発を目的とする。
• 既存の手法が設計行列を事前に指定された直交行列に埋め込める必要があるという制限を克服することを目的とする。
• 通常および正則化された設定の両方における収束性と収束速度に関する理論的保証を確立することを目的とする。
• SCAD や MCP のような非凸罰則に対して OEM がオラクル性を達成することを証明することを目的とする。また、重複変数（アリヤス変数）に対してグループ化の一貫性を保証することを目的とする。
• 同じデータ条件下で正則化最小二乗問題の方が通常最小二乗問題よりも収束が速いという、新しい理論的比較を提供することを目的とする。

提案手法

• OEMアルゴリズムは、任意の回帰行列に行を追加することで、完全な直交設計を構築する「アクティブな直交化」を実行する。
• 各反復で、係数ベクトルの現在の推定値を用いて、新たに追加された行の欠損応答を補完する。
• 更新された応答ベクトルと直交設計行列を用いて、行列の逆行列を避ける閉形式で最小二乗問題を解く。
• 正則化問題では、lasso、SCAD、MCP などの罰則を最適化ステップに組み込み、閉形式での更新を維持する。
• 補完ステップと推定ステップを交互に繰り返し、やや弱い正則性条件のもとで安定点に収束する。
• 理論的分析では、マルティンゲールおよび集中不等式を用いて、特に高次元設定において収束性と収束速度の上限を確立する。

実験結果

リサーチクエスチョン

• RQ1 事前に指定された直交性を要しない、任意の設計行列に対して最小二乗問題を解くアルゴリズムを開発できるか？
• RQ2 設計行列がランク不足の場合、OEMアルゴリズムはムーア・ペンローズ一般逆行列に基づく推定量に収束するか？
• RQ3 高次元設定において、SCAD や MCP のような非凸罰則に対して OEM はオラクル性を達成できるか？
• RQ4 lasso、SCAD、MCP に対して、完全にアリヤス化された予測子に対して、同じ係数が割り当てられる（グループ化の一貫性）ことを OEM は保証するか？
• RQ5 同じデータ条件下で、なぜ OEM は正則化最小二乗問題に対して通常最小二乗問題よりも収束が速いか？

主な発見

• 特異な設計行列を有する通常最小二乗問題では、OEM系列はムーア・ペンローズ一般逆行列に基づく最小二乗推定量に収束する。
• SCAD および MCP 罰則の下では、OEM系列は十分な反復を経て、変数数が発散する場合でもオラクル性を達成する。
• OEMアルゴリズムは完全にアリヤス化された列に対してグループ化の一貫性を保証する。つまり、このような変数は同時に選択または除外される。
• OEMの収束速度は、正則化最小二乗問題の方が通常最小二乗問題よりも速く、これらの手法を比較する新しい理論的根拠を提供する。
• 理論的境界では、適切な正則性条件下で、正しい変数選択の確率が標本サイズおよび信号強度とともに指数関数的に増加することが示された。
• アルゴリズムは高次元設定に対してもロバストであり、標本サイズが増加するにつれて収束確率は1に近づく。誤差および設計行列構造に関するやや弱い仮定のもとで成立する。