[論文レビュー] Sparse estimation via nonconcave penalized likelihood in a factor analysis model

Kei Hirose, Michio Yamamoto|arXiv (Cornell University)|May 26, 2012

Statistical Methods and Inference参考文献 39被引用数 7

ひとこと要約

本稿では、因子分析におけるスパース推定のための非凸罰根付き尤度法を提案する。従来の2段階法（最尤推定後に回転を施す）を一般化する。非凸罰根（例：MC+、SCAD）をEMアルゴリズムと座標降下法に統合することで、回転手法に比べてよりスパースで正確な因子荷重を生成する。特に高次元設定下で、lasso やスパースPCAに比べて優れた性能を示し、シミュレーションおよび実データでもその優位性が実証された。

ABSTRACT

We consider the problem of sparse estimation in a factor analysis model. A traditional estimation procedure in use is the following two-step approach: the model is estimated by maximum likelihood method and then a rotation technique is utilized to find sparse factor loadings. However, the maximum likelihood estimates cannot be obtained when the number of variables is much larger than the number of observations. Furthermore, even if the maximum likelihood estimates are available, the rotation technique does not often produce a sufficiently sparse solution. In order to handle these problems, this paper introduces a penalized likelihood procedure that imposes a nonconvex penalty on the factor loadings. We show that the penalized likelihood procedure can be viewed as a generalization of the traditional two-step approach, and the proposed methodology can produce sparser solutions than the rotation technique. A new algorithm via the EM algorithm along with coordinate descent is introduced to compute the entire solution path, which permits the application to a wide variety of convex and nonconvex penalties. Monte Carlo simulations are conducted to investigate the performance of our modeling strategy. A real data example is also given to illustrate our procedure.

研究の動機と目的

• p ≫ n の場合に失敗し、しばしばスパースでない因子荷重を生じる従来の2段階因子分析手法の限界を克服すること。
• 非凸罰根を組み込むことで2段階法を一般化する統一的な罰根付き尤度フレームワークを構築すること。
• 最尤推定値に回転を施す手法に比べ、よりスパースで解釈性の高い因子荷重を生成すること。
• 凸および非凸罰根の広い範囲について、全正則化パスの効率的計算を可能とすること。
• 本手法の高次元データにおける有効性を実証すること、特に実際の手書き数字データセットを含む。

提案手法

• 因子荷重に非凸罰根（例：MC+、SCAD）を適用する罰根付き尤度関数を提案し、推定段階で直接スパarsityを誘導する。
• 因子分析モデルを欠損データ問題として再定式化し、共通因子を潜在変数とみなす。
• 完全データの罰根付き対数尤度を最大化するためEMアルゴリズムを適用し、Eステップでは潜在因子の後立確率を計算する。
• Mステップでは座標降下法を用い、全正則化パスにわたる因子荷重および固有分散の効率的更新を実現する。
• 完全データの罰根付き対数尤度およびEステップにおける後立期待値を導出し、反復的最適化を可能にする。
• 実用的応用を目的に、Rパッケージ 'fanc' をCRANにリリースした。

実験結果

リサーチクエスチョン

• RQ1 非凸罰根付き尤度アプローチは、従来の2段階法に比べ、よりスパースで正確な因子荷重を生成できるか？
• RQ2 特定の条件下で、本手法は2段階法（最尤推定＋回転）をどのように一般化するか？
• RQ3 MC+ や SCAD といった非凸罰根は、lasso に比べて高次元因子分析において顕著にスパースな解をもたらすか？
• RQ4 EMアルゴリズムと座標降下法を組み合わせることで、さまざまな罰根について全解パスを効率的に計算できるか？
• RQ5 実際の高次元データ（例：手書き数字画像）において、本手法はlasso やスパースPCAに比べてどのように性能を発揮するか？

主な発見

• 提案された罰根付き尤度法は、従来の2段階法を一般化しており、特定の条件下では最尤推定＋回転の結果が特別なケースとして回復可能である。
• MC+ などの非凸罰根は、lasso より顕著にスパースな解を生成し、モデルの解釈性が向上した。
• シミュレーションでは、真の荷重行列がスパースである場合、MC+ が最も低い平均二乗誤差（MSE）を達成した。特に非ゼロ荷重の割合が低い場合に顕著であった。
• 実際の手書き数字データでは、MC+ は lasso やスパースPCAに比べて画像再構成がより正確であった。特に非ゼロ荷重が40%のとき顕著であった。
• アルゴリズムは高次元データ（例：p = 10,000）について全解パスを効果的に計算できたが、計算時間は数時間にのぼる場合もあった。
• 本手法は、真にスパースな因子構造が存在する場合、lasso やスパースPCAに比べてデータ再構成とスパarsityの両面で優れた性能を発揮した。