[論文レビュー] Dimensionality determination: a thresholding double ridge ratio criterion

Xuehu Zhu, Tao Wang+1 more|arXiv (Cornell University)|Aug 16, 2016

Statistical Methods and Inference参考文献 30被引用数 9

ひとこと要約

本稿では、十分次元削減、因子モデル、回帰における次元数の決定を改善するためのしきい値付きダブルリッジ比基準を提案する。これは、支配的固有値によって引き起こされる長年の未定義問題を解決するものであり、複数の局所的最小値が存在する状況でも真の次元を一貫して推定できる。従来の固有値分解に基づく基準に比べ、比に基づくしきい値処理による堅牢なアプローチにより優れた性能を示す。

ABSTRACT

Popularly used eigendecomposition-based criteria such as BIC type, ratio estimation and principal component-based criterion often underdetermine model dimensionality for regressions or the number of factors for factor models. This longstanding problem is caused by the existence of one or two dominating eigenvalues compared to other nonzero eigenvalues. To alleviate this difficulty, we propose a thresholding double ridge ratio criterion such that the true dimension can be better identified and is less underdetermined. Unlike all existing eigendecomposition-based criteria, this criterion can define consistent estimate without requiring the uniqueness of minimum and can then handle possible multiple local minima scenarios. This generic strategy would be readily applied to other dimensionality or order determination problems. In this paper, we systematically investigate, for general sufficient dimension reduction theory, the dimensionality determination with fixed and divergent dimensions; for local alternative models that converge to its limiting model with fewer projected covariates, discuss when the number of projected covariates can be consistently estimated, when cannot; and for ultra-high dimensional factor models, study the estimation consistency for the number of common factors. Numerical studies are conducted to examine the finite sample performance of the method.

研究の動機と目的

• 十分次元削減、因子モデル、回帰における次元数選択のための固有値分解に基づく基準における、長年の未定義問題に対処する。
• 一つまたは二つの固有値が他の固有値を支配する場合に、従来の手法が失敗するという制限を克服する。
• 最小値の一意性を必要とせず、次元数推定における複数の局所的最小値に対処できる汎用的で一貫性のある基準を開発する。
• 固定次元および発散次元設定の両方において、理論的一貫性を確立する。これには、局所的代替モデルおよび超高次元因子モデルが含まれる。
• 多様な高次元設定における有限標本性能を数値的に検証する。

提案手法

• 固有値を比に基づく統計量に変換することで、構造的次元の変化に敏感になるダブルリッジ比基準を提案する。
• 真の次元が選ばれないように、誤った局所的最小値を防ぐためのしきい値処理機構を導入する。
• 二段階変換を適用する：まず固有値のリッジ比を計算し、その後、得られた比にしきい値処理を施して真の次元を特定する。
• 漸近的解析を用いて、基準が確率的に一意なパターンに収束することを示す。具体的には、真の次元より前は比がゼロに近づき、真の次元で無限大に近づき、それより後は比が1に近づく。
• 比推定の安定性を確保し、さまざまな標本サイズ下での一貫性を保証するため、調整パラメータ $ c_{1n} $ と $ c_{2n} $ を組み込む。
• 関数 $ x/(1+x) $ の単調性を活用して、変換された固有値およびその比の漸近的挙動を導出する。

実験結果

リサーチクエスチョン

• RQ1 支配的固有値が既存の手法を歪める状況下でも、新しい基準が十分次元削減における構造的次元を一貫して推定できるか？
• RQ2 基準の地形に複数の局所的最小値が存在する状況でも、次元数決定をどのようにして頑健に実現できるか？
• RQ3 超高次元因子モデルにおける共通因子数の推定において、しきい値付きダブルリッジ比基準がどのような条件下で一貫性を示すか？
• RQ4 真のモデルがより少ない投影共変数を持つ局所的代替モデルに収束する場合、この手法は一貫性を保つのか？
• RQ5 BIC型および比に基づく基準と比較して、提案手法の有限標本性能の特徴は何か？

主な発見

• 提案されたしきい値付きダブルリッジ比基準は、標本サイズが増加するにつれて、真の次元 $ q $ を確率1に近づけて一貫して推定する。
• 比がゼロまたは無限大に収束するためのしきい値処理により、誤った局所的最小値が選ばれることを効果的に回避し、真の次元のみが選ばれる。
• 局所的代替モデルがより単純なモデルに収束する場合、収束速度が十分に遅ければ、この手法は投影共変数の数を一貫して推定できる。
• 超高次元因子モデルでは、適切な調整パラメータの選択のもとで、共通因子数の推定の一貫性が達成される。
• 数値的検証により、特に支配的固有値が存在する状況下で、BIC型および比に基づく基準に比べて優れた有限標本性能を示す。
• 理論的解析により、比 $ \frac{\hat{s}^{*}_{(j+1)} + c_{2n}}{\hat{s}^{*}_{j} + c_{2n}} $ が真の次元以降では $ \tau $ より大きい値に収束し、それより前では $ \tau $ より小さい値に収束することを確認した。これにより、正しいしきい値処理が可能となる。