[论文解读] The Fundamental Limits of Structure-Agnostic Functional Estimation

Sivaraman Balakrishnan, Edward H. Kennedy+1 more|arXiv (Cornell University)|May 6, 2023

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文证明，在仅对干扰函数施加高层次速率条件的前提下，一阶去偏方法在结构无关的功能估计中本质上是最优的。它通过建立极小极大下界，表明要超越一阶估计器，必须对干扰函数施加强结构假设，揭示了非参数功能估计中鲁棒性与效率之间的根本权衡。

ABSTRACT

Many recent developments in causal inference, and functional estimation problems more generally, have been motivated by the fact that classical one-step (first-order) debiasing methods, or their more recent sample-split double machine-learning avatars, can outperform plugin estimators under surprisingly weak conditions. These first-order corrections improve on plugin estimators in a black-box fashion, and consequently are often used in conjunction with powerful off-the-shelf estimation methods. These first-order methods are however provably suboptimal in a minimax sense for functional estimation when the nuisance functions live in Holder-type function spaces. This suboptimality of first-order debiasing has motivated the development of "higher-order" debiasing methods. The resulting estimators are, in some cases, provably optimal over Holder-type spaces, but both the estimators which are minimax-optimal and their analyses are crucially tied to properties of the underlying function space. In this paper we investigate the fundamental limits of structure-agnostic functional estimation, where relatively weak conditions are placed on the underlying nuisance functions. We show that there is a strong sense in which existing first-order methods are optimal. We achieve this goal by providing a formalization of the problem of functional estimation with black-box nuisance function estimates, and deriving minimax lower bounds for this problem. Our results highlight some clear tradeoffs in functional estimation -- if we wish to remain agnostic to the underlying nuisance function spaces, impose only high-level rate conditions, and maintain compatibility with black-box nuisance estimators then first-order methods are optimal. When we have an understanding of the structure of the underlying nuisance functions then carefully constructed higher-order estimators can outperform first-order estimators.

研究动机与目标

• 以对函数空间结构的假设最少的方式，形式化使用黑箱干扰估计器进行功能估计的问题。
• 研究在结构无关条件下，更高阶去偏方法是否能优于一阶方法。
• 通过推导极小极大下界，确立功能估计中自适应性的根本限制。
• 阐明非参数估计中鲁棒性（结构无关性）与效率（极小极大最优性）之间的权衡。
• 证明当对干扰函数不做强结构假设时，一阶方法是最优的。

提出的方法

• 在对干扰函数施加弱正则性条件的前提下，将功能估计形式化为极小极大决策问题。
• 利用约束风险不等式（引理4）推导极小极大下界，以量化自适应的代价。
• 分析不同光滑性类（特别是Hölder型空间）下估计器的风险。
• 比较一阶估计器（如一步法、双重机器学习）与更高阶去偏方案的性能。
• 基于参数空间半径的两阶段分析，建立改进估计器的非自适应性。
• 应用浓度不等式与对数尺度，以有界自适应估计器相对于一阶基准的风险。

实验结果

研究问题

• RQ1 在结构无关条件下，更高阶去偏方法是否能优于一阶估计器？
• RQ2 当干扰函数通过黑箱方法估计时，功能估计中自适应性的根本限制是什么？
• RQ3 在对干扰函数无强结构假设的前提下，能否实现快于$\sqrt{n}$的收敛速率？
• RQ4 在极小极大估计中，自适应代价在何种条件下不可避免？
• RQ5 在一阶与更高阶估计器之间，其极小极大风险在不同光滑性类中的比较如何？

主要发现

• 当对干扰函数不做强结构假设时，一阶去偏方法在功能估计中为极小极大最优。
• 任何在风险上优于一阶估计器的改进，均需对底层函数空间施加强结构假设。
• 本文建立了非自适应性结果：若不假设强结构，一个在某一光滑性水平表现良好的估计器，必将在另一水平表现不佳。
• 当$ r_1 \leq \log(1/\delta)/n $时，任何改进估计器的风险下界为$ \gtrsim \frac{\log(1/(\varepsilon\delta))\|\widehat{\theta}\|_2^2}{n} $，而一阶估计器$ \widehat{Q}_{\text{ad}}^\theta $实现$ \lesssim \frac{\log(1/\delta)\|\widehat{\theta}\|_2^2}{n} $，表明存在根本性差距。
• 当$ r_1 \geq \log(1/\delta)/n $时，任何改进估计器的风险下界为$ \gtrsim \frac{\log(1/(\varepsilon\log(1/\delta)))\|\widehat{\theta}\|_2^2}{n} $，而$ \widehat{Q}_{\text{ad}}^\theta $实现$ \lesssim \frac{\delta\|\widehat{\theta}\|_2^2}{n} $，再次表明在无结构假设下自适应性不可能实现。