[論文レビュー] High-dimensional Varying Index Coefficient Models via Stein's Identity

Sen Na, Zhuoran Yang+2 more|arXiv (Cornell University)|Oct 16, 2018

Random Matrices and Applications参考文献 44被引用数 9

ひとこと要約

本稿では、未知のリンク関数の推定を回避するためにスティンの恒等式を用いた、高次元変動インデックス係数モデルを推定する計算的に効率的な手法を提案する。この手法は、弱いモーメント条件のもとで、最適（対数要因を除いて）の統計的収束速度を達成し、スパースまたは低ランクの係数行列を有する重い尾を持つデータに対しても頑健な推定を可能にする。

ABSTRACT

We study the parameter estimation problem for a varying index coefficient model in high dimensions. Unlike the most existing works that iteratively estimate the parameters and link functions, based on the generalized Stein's identity, we propose computationally efficient estimators for the high-dimensional parameters without estimating the link functions. We consider two different setups where we either estimate each sparse parameter vector individually or estimate the parameters simultaneously as a sparse or low-rank matrix. For all these cases, our estimators are shown to achieve optimal statistical rates of convergence (up to logarithmic terms in the low-rank setting). Moreover, throughout our analysis, we only require the covariate to satisfy certain moment conditions, which is significantly weaker than the Gaussian or elliptically symmetric assumptions that are commonly made in the existing literature. Finally, we conduct extensive numerical experiments to corroborate the theoretical results.

研究の動機と目的

• 説明変数の数が標本サイズを上回る高次元変動インデックス係数モデルの計算的に効率的な推定量の開発。
• 反復的な未知のリンク関数の推定が高次元では計算的に非現実的であるのを避けるために、係数行列の推定を反復的に行わないこと。
• ガウス分布や楕円対称性などの強い分布仮定を必要とせず、最小限の分布的仮定（たとえばモーメント条件）のもとで最適な統計的収束速度を達成すること。
• スパースまたは低ランクの係数行列構造を統一的な枠組みで取り扱い、理論的保証を伴うこと。

提案手法

• 一般化されたスティンの恒等式を用いて、非パラメトリックなリンク関数の推定を回避する推定方程式を構築する。
• スティンの恒等式から導かれるスコア関数を用いて、正則化付き最小二乗回帰として推定問題を定式化する。
• スパース性誘導または低ランク正則化（例：L1ノルムまたはノルム）を係数行列に適用し、高次元推定を可能にする。
• 重い尾を持つ説明変数を取り扱うために切断手続きを適用し、弱いモーメント条件のもとで理論的保証を確立する。
• 得られた凸最適化問題を解くことで、計算的に取り扱いやすく、統計的に一貫性を持つ推定量を取得する。
• 2段階手順を採用：まず、標本モーメントを用いてスコア関数を構築；次に、凸緩和を用いて係数行列を推定する。

実験結果

リサーチクエスチョン

• RQ1 未知のリンク関数の推定を伴わずに、高次元変動インデックス係数モデルを効率的に推定できるか？
• RQ2 係数行列がスパースまたは低ランクである場合、弱いモーメント仮定のもとで達成可能な統計的収束速度は何か？
• RQ3 従来の反復的手法と比較して、重い尾または非ガウス分布を示す説明変数を持つ場合、提案手法はどのように性能を発揮するか？
• RQ4 強い分布的仮定を必要とせず、最小上限的最適性（対数要因を除いて）を高次元設定で達成できるか？
• RQ5 合成データおよび実世界のデータにおいて、次元と標本サイズの増加に伴い、この手法はどのようにスケーリングするか？

主な発見

• 提案された推定量は、スパース係数行列に対して、対数要因を除いて最適な統計的収束速度を達成する。
• 低ランク係数行列の場合、推定量は近似的に最適であり、最小上限下限値と対数要因を除いて一致する収束速度を示す。
• 説明変数にモーメント条件しか要求しないため、先行研究で一般的に用いられるガウス分布や楕円対称性の仮定を著しく弱める。
• 推定量は凸最適化問題として計算可能であり、反復的手法の非凸性の問題を回避し、計算的に取り扱いやすい。
• 数値実験により理論的結果が確認され、t分布、レイリー分布、ワイブル分布などのさまざまなリンク関数と重い尾分布において一貫した性能を示す。
• モデルの誤指定に対しても頑健であり、特に標本サイズが次元に対して小さい場合に優れた有限標本性能を維持する。