[論文レビュー] Principal Components and Regularized Estimation of Factor Models

Jushan Bai, Serena Ng|arXiv (Cornell University)|Aug 27, 2017

Spatial and Panel Data Analysis参考文献 33被引用数 13

ひとこと要約

本稿では、反復リッジ回帰を用いた特異値しきい値処理により、共通成分の最小ランク近似を達成するように特異値を圧縮する正則化因子モデル推定法を提案する。主な貢献は、弱い因子や測定ノイズに対してより頑健な因子選択のためのデータに依存するペナルティを提示することであり、因子負荷の線形制約下での推論を支持する漸近的理論を提供する。

ABSTRACT

It is known that the common factors in a large panel of data can be consistently estimated by the method of principal components, and principal components can be constructed by iterative least squares regressions. Replacing least squares with ridge regressions turns out to have the effect of shrinking the singular values of the common component and possibly reducing its rank. The method is used in the machine learning literature to recover low-rank matrices. We study the procedure from the perspective of estimating a minimum-rank approximate factor model. We show that the constrained factor estimates are biased but can be more efficient in terms of mean-squared errors. Rank consideration suggests a data-dependent penalty for selecting the number of factors. The new criterion is more conservative in cases when the nominal number of factors is inflated by the presence of weak factors or large measurement noise. The framework is extended to incorporate a priori linear constraints on the loadings. We provide asymptotic results that can be used to test economic hypotheses.

研究の動機と目的

• 弱い因子や測定ノイズに対してより頑健な正則化因子推定の統計的枠組みを構築すること。
• 主成分法を拡張し、リッジ回帰を組み込んで特異値を圧縮し、共通成分のランクを低減すること。
• 弱い因子やノイズが名目上の因子数を高める状況において、より保守的になるように、因子数の選択にデータ依存のペナルティ基準を提示すること。
• 因子負荷に対する一般線形制約を組み込んだ頻度主義的推論枠組みを提供し、ランク制約の有無に関わらず経済的仮説の検定を可能にすること。
• 正則化モデル下での因子および負荷推定の漸近的分布を確立し、妥当な統計的推論を可能にすること。

提案手法

• 最小二乗法の代わりに反復リッジ回帰を用いて因子負荷およびスコアを推定し、共通成分の特異値に圧縮効果をもたらす。
• 小さな特異値をゼロに設定するため、特異値しきい値処理（SVT）を適用し、データ行列の低ランク近似を生成する。
• 因子および負荷の両方にティホノフ型ペナルティを含む正則化最適化問題の解として推定器を導出する。
• ラグランジュ緩和法を用いて因子負荷に事前線形制約を組み込み、バイアス補正を施した修正推定器を導出する。
• 正則化モデル下での因子および負荷推定の漸近的分布を導出し、標準誤差および仮説検定を可能にする。
• バーリンとン（2002）の決定的ペナルティに加え、最小ランクを達成したいという意図を反映するデータ依存項を組み込んだ新しい因子選択基準を提案する。

実験結果

リサーチクエスチョン

• RQ1 リッジ回帰による特異値しきい値処理は、大規模因子モデルにおける共通因子成分の推定をより効率的かつ頑健にするか？
• RQ2 正則化は因子推定におけるバイアス・バリアンストレードオフにどのように影響するか？また、どのような条件下で正則化推定器がより効率的か？
• RQ3 弱い因子や高い測定ノイズの存在下でも、因子選択を改善するデータ依存ペナルティを構築可能か？
• RQ4 一般線形制約を正則化因子モデルに組み込むと同時に、推論の有効性を維持できるか？
• RQ5 正則化因子および負荷推定の漸近的分布は何か？また、それらを仮説検定にどのように応用できるか？

主な発見

• 正則化因子推定はバイアスを伴うが、真のランクが低い場合に標準的主成分法よりも低い平均二乗誤差を達成できる。
• 提案された因子選択のためのデータ依存ペナルティは、既存の基準よりも保守的であり、弱い因子やノイズによる因子数の過剰推定を低減する。
• 因子および負荷推定の漸近的正規性が確立され、一貫した分散推定器により標準誤差および仮説検定が可能になる。
• 正則化推定器のバイアスは特異値の圧縮に起因し、正則化パラメータおよび母集団特異値の関数として明示的に特徴づけられる。
• 一般線形制約を因子負荷に組み込むことで、経済的仮説の検定が可能となり、非制約およびランク制約付きモデル下で漸近的分布が導出される。
• SVTによるデータ行列の低ランク分解が可能であり、パラメトリック仮定下で収束速度に関する理論的保証が得られる。