[论文解读] Minimax Estimation of Conditional Moment Models

Nishanth Dikkala, Greg Lewis+2 more|arXiv (Cornell University)|Jun 12, 2020

Statistical Methods and Inference参考文献 55被引用 20

一句话总结

本文提出了一种针对条件矩模型的极小化极大估计框架，将估计问题形式化为在假设空间与检验函数空间之间模型者与对手之间的零和博弈。该框架建立了快速、局部化的估计速率，其速率与这些空间的临界半径相关，从而在最小假设下实现了对非参数模型（如RKHS、稀疏线性模型、随机森林和神经网络）的最优速率。

ABSTRACT

We develop an approach for estimating models described via conditional moment restrictions, with a prototypical application being non-parametric instrumental variable regression. We introduce a min-max criterion function, under which the estimation problem can be thought of as solving a zero-sum game between a modeler who is optimizing over the hypothesis space of the target model and an adversary who identifies violating moments over a test function space. We analyze the statistical estimation rate of the resulting estimator for arbitrary hypothesis spaces, with respect to an appropriate analogue of the mean squared error metric, for ill-posed inverse problems. We show that when the minimax criterion is regularized with a second moment penalty on the test function and the test function space is sufficiently rich, then the estimation rate scales with the critical radius of the hypothesis and test function spaces, a quantity which typically gives tight fast rates. Our main result follows from a novel localized Rademacher analysis of statistical learning problems defined via minimax objectives. We provide applications of our main results for several hypothesis spaces used in practice such as: reproducing kernel Hilbert spaces, high dimensional sparse linear functions, spaces defined via shape constraints, ensemble estimators such as random forests, and neural networks. For each of these applications we provide computationally efficient optimization methods for solving the corresponding minimax problem (e.g. stochastic first-order heuristics for neural networks). In several applications, we show how our modified mean squared error rate, combined with conditions that bound the ill-posedness of the inverse problem, lead to mean squared error rates. We conclude with an extensive experimental analysis of the proposed methods.

研究动机与目标

• 开发一种非参数模型的统计学习理论类比，该模型由矩约束定义，以克服传统GMM的局限性。
• 在高维和非参数设定下，利用现代机器学习假设类（如神经网络和随机森林）实现估计。
• 推导出适应假设空间与检验函数空间内在复杂度的快速、有限样本估计速率。
• 为实际求解所得极小化极大问题，提供计算高效的优化方法。
• 将估计误差与函数类的临界半径联系起来，实现信息论最优速率。

提出的方法

• 将估计形式化为极小化极大优化：在假设空间H上取最小值，在检验函数空间F上取最大值，以识别最坏情况下的违反矩。
• 引入准则函数Ψ(h,f) = E[(y−h(x))f(z)]，并求解h₀ = arg inf_h sup_f Ψ(h,f)，将其视为零和博弈。
• 通过在检验函数f上施加二阶矩惩罚来实现正则化，以确保稳定性和有限样本控制。
• 采用针对极小化极大目标量身定制的局部Rademacher复杂度分析，以推导快速速率。
• 使用核近似（Nystrom方法）实现基于RKHS模型的可扩展计算。
• 通过假设工具变量强度和核算子的特征结构，以有界反问题病态性来推导估计速率。

实验结果

研究问题

• RQ1 我们能否为通过条件矩约束定义的非参数模型开发一种类似于M-估计的统计学习理论框架？
• RQ2 在矩约束下，如何为神经网络和随机森林等复杂假设类实现快速、有限样本估计速率？
• RQ3 假设空间与检验函数空间的临界半径在决定估计误差速率方面起什么作用？
• RQ4 正则化与对抗性检验如何提升病态逆问题中的鲁棒性与自适应性？
• RQ5 在何种条件下，投影均方误差速率可推出实际均方误差的速率？

主要发现

• 所提出的极小化极大估计器实现了投影均方误差速率，其速率与假设空间和检验函数空间的临界半径成比例，从而实现快速且最优的速率。
• 当检验函数空间丰富且通过二阶矩惩罚正则化时，估计速率可自适应于模型的内在复杂度，而无需事先知道真实假设范数。
• 对于再生核希尔伯特空间，该方法的估计速率依赖于核的特征值衰减速度和工具变量强度，在弱假设下可导出显式边界。
• 在高维稀疏线性模型中，该方法在稀疏性和限制特征值条件下实现了快速速率，且采用计算高效的梯度一阶优化。
• 对于神经网络和随机森林，该框架通过随机一阶启发式方法实现高效训练，并对估计误差提供理论保证。
• 在工具变量强度和特征结构满足充分条件（如τₘ和γₘ边界）时，投影RMSE速率可推出实际RMSE的速率，从而将理论性能与实际估计联系起来。