[論文レビュー] Finite sample analysis of profile M-estimation in the Single Index model

Andreas Andresen|arXiv (Cornell University)|Jun 16, 2014

Financial Risk and Volatility Modeling参考文献 23被引用数 5

ひとこと要約

本稿では、未知のリンク関数をC³有界台付きダービーシェスウェーブレットを用いて近似する、単一インデックスモデルにおけるスィーブプロファイル準最尤推定量の有限標本解析を提示する。非漸近的信頼集合の確立、有限標本におけるウィルクスおよびフィッシャー展開の証明、およびやや弱い正則性およびモーメント条件の下で、交互最大化アルゴリズムのグローバル最適化への収束を示し、その結果を補足的に非漸近的バインディングとして提示する。

ABSTRACT

We apply the results of Andresen A. and Spokoiny V. on profile M-estimators and the alternating maximization procedure to analyse a sieve profile quasi maximum likelihood estimator in the single index model with linear index function. The link function is approximated with \(C^3\)-Daubechies-wavelets with compact support. We derive results like Wilks phenomenon and Fisher Theorem in a finite sample setup. Further we show that an alternation maximization procedure converges to the global maximizer and assess the performance of a projection pursuit procedure in that context. The approach is based on showing that the conditions of Andresen A. and Spokoiny V. on profile M-estimators and the alternating maximization procedure can be satisfied under a set of mild regularity and moment conditions on the index function, the regressors and the additive noise. This allows to construct nonasymptotic confidence sets and to derive asymptotic bounds for the estimator as corollaries.

研究の動機と目的

• 漸近的近似を越えて、単一インデックスモデルにおけるプロファイルM推定の有限標本理論を構築すること。
• やや弱い正則性およびモーメント条件の下で、非漸近的信頼集合と推定量の有限標本バインディングを確立すること。
• プロファイル尤度のグローバル最大値への、交互最大化手順の収束を証明すること。
• 単一インデックス推定の文脈において、射影プルーフプロシージャの性能を評価すること。
• ウィルクス現象やフィッシャー情報展開といった古典的漸近的結果の有限標本版を導出すること。

提案手法

• 未知のリンク関数の近似に、C³有界台付きダービーシェスウェーブレットを用いたスィーブプロファイル準最尤推定量を用いる。
• 推定誤差およびウェーブレットスィーブ近似におけるバイアスを制御するため、有限標本の集中および大偏差不等式を適用する。
• インデックス・ベクトルとリンク関数を繰り返し推定するための交互最大化アルゴリズムを採用し、そのグローバル最大値への収束を証明する。
• プロファイルスコアおよびヘッシアンの有限標本展開を導出し、有限標本におけるウィルクスおよびフィッシャー定理の類似を確立する。
• 文献[1]および[3]の有限標本理論を借用・適応し、インデックス、回帰変数、誤差項にやや弱い正則性およびモーメント条件が成り立つ場合にその条件が満たされることを検証する。
• プロファイル尤度の双対表現を用い、行列集中不等式（例：[23]の定理6.29）を適用して、推定関数のヘッシアンを制御する。

実験結果

リサーチクエスチョン

• RQ1 単一インデックスモデルにおいて、ウィルクス現象およびフィッシャー情報展開を有限標本で確立できるか？
• RQ2 プロファイルM推定のための交互最大化手順が、グローバル最大値に収束する条件は何か？
• RQ3 単一インデックスモデルにおけるインデックス・ベクトルおよびリンク関数に対して、どのような非漸近的信頼集合を構築できるか？
• RQ4 ウェーブレット近似によるスィーブバイアスは、推定量の有限標本性能にどのように影響するか？
• RQ5 有限標本理論の有効性を保証するためのモーメントおよび滑らかさ条件は何か？

主な発見

• 本稿では、単一インデックスモデルにおけるプロファイルM推定量に対して、有限標本におけるウィルクス現象およびフィッシャー展開を確立し、古典的漸近的結果の非漸近的類似を提供する。
• インデックス・ベクトルとリンク関数を推定するための交互最大化手順は、やや弱い正則性およびモーメント条件の下で、プロファイル尤度のグローバル最大値に収束することが示された。
• プロファイルスコアの有限標本分布に基づき、インデックス・ベクトルの非漸近的信頼集合を構築可能であり、集中不等式を用いて被覆確率を制御できる。
• リンク関数の滑らかさとウェーブレット係数の減衰を用いて、ウェーブレット近似によるスィーブバイアスをバインドする。このバインドは標本サイズおよびインデックス空間の次元に依存する。
• バイアスが無視できる場合、推定量の収束速度は最適であり、主要な誤差項はO(√(p*³ / n))のオーダーで減少する。バイアスが存在する場合には、O(√(p*³ log n / n))のオーダーに漸近する。
• 行列集中を用いて推定関数の有限標本ヘッシアンを制御し、曲率が高確率で良好に保たれることを保証する。これにより、推論手順の妥当性が裏付けられる。