[论文解读] Finite sample analysis of profile M-estimation in the Single Index model

Andreas Andresen|arXiv (Cornell University)|Jun 16, 2014

Financial Risk and Volatility Modeling参考文献 23被引用 5

一句话总结

本文针对单指数模型中的谱系轮廓准最大似然估计量，提供了有限样本分析，采用具有C³紧supp的Daubechies小波来逼近未知的链接函数。研究建立了非渐近置信集，证明了有限样本的Wilks与Fisher展开式，并在较弱的正则性和矩条件之下，展示了交替最大化算法的全局收敛性，同时作为推论给出了非渐近界。

ABSTRACT

We apply the results of Andresen A. and Spokoiny V. on profile M-estimators and the alternating maximization procedure to analyse a sieve profile quasi maximum likelihood estimator in the single index model with linear index function. The link function is approximated with \(C^3\)-Daubechies-wavelets with compact support. We derive results like Wilks phenomenon and Fisher Theorem in a finite sample setup. Further we show that an alternation maximization procedure converges to the global maximizer and assess the performance of a projection pursuit procedure in that context. The approach is based on showing that the conditions of Andresen A. and Spokoiny V. on profile M-estimators and the alternating maximization procedure can be satisfied under a set of mild regularity and moment conditions on the index function, the regressors and the additive noise. This allows to construct nonasymptotic confidence sets and to derive asymptotic bounds for the estimator as corollaries.

研究动机与目标

• 为单指数模型中的轮廓M估计发展有限样本理论，超越渐近近似。
• 在较弱的正则性和矩条件下，建立估计量的非渐近置信集与有限样本界。
• 证明交替最大化过程收敛于轮廓似然函数的全局最大值点。
• 评估投影寻踪方法在单指数估计背景下的性能。
• 推导经典渐近结果（如Wilks现象与Fisher信息展开）的有限样本类比。

提出的方法

• 使用具有C³紧supp的Daubechies小波的谱系轮廓准最大似然估计量，以逼近单指数模型中未知的链接函数。
• 应用有限样本的浓度不等式与大偏差不等式，以控制小波谱逼近中的估计误差与偏差。
• 采用交替最大化算法，迭代估计指数向量与链接函数，并证明其收敛于轮廓似然的全局最大值点。
• 推导轮廓得分与Hessian的有限样本展开式，建立有限样本中Wilks与Fisher定理的类比。
• 借用并改编[1]与[3]中的有限样本理论，验证其条件在指数、回归变量与误差项的较弱正则性与矩条件下成立。
• 采用轮廓似然的对偶表示，并应用矩阵浓度不等式（如[23]中的定理6.29），以控制估计函数的Hessian。

实验结果

研究问题

• RQ1 在单指数模型中，Wilks现象与Fisher信息展开是否可在有限样本中建立？
• RQ2 轮廓M估计的交替最大化过程在何种条件下收敛于全局最大值点？
• RQ3 在单指数模型中，可为指数向量与链接函数构建哪些非渐近置信集？
• RQ4 小波逼近带来的谱偏差如何影响估计量的有限样本性能？
• RQ5 何种矩条件与光滑性条件可确保轮廓M估计量的有限样本理论成立？

主要发现

• 本文在单指数模型中为轮廓M估计量建立了有限样本的Wilks现象与Fisher展开，提供了经典渐近结果的非渐近类比。
• 在较弱的正则性与矩条件下，估计指数向量与链接函数的交替最大化过程收敛于轮廓似然的全局最大值点。
• 可基于轮廓得分的有限样本分布，构建指数向量的非渐近置信集，其覆盖概率通过浓度不等式加以控制。
• 通过链接函数的光滑性与小波系数的衰减性，对小波逼近带来的谱偏差进行有界控制，该界依赖于样本大小与指数空间的维数。
• 在给定条件下，估计量的收敛速度被证明是最优的，当偏差可忽略时，主导误差项以O(√(p*³ / n))的速率衰减；当存在偏差时，衰减速率为O(√(p*³ log n / n))。
• 通过矩阵浓度控制了估计函数的有限样本Hessian，确保曲率以高概率表现良好，从而支持推断程序的有效性。