[論文レビュー] The Fundamental Limits of Structure-Agnostic Functional Estimation

Sivaraman Balakrishnan, Edward H. Kennedy+1 more|arXiv (Cornell University)|May 6, 2023

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿は、ネイビュア関数に高レベルのレート条件しか仮定しない場合、構造に依存しない関数推定において、1次デバイアス法が根本的に最適であることを確立する。最小最大下界を示し、1次推定器を上回るにはネイビュア関数に関する強い構造的仮定が必要であることを示しており、非パラメトリック関数推定におけるロバストネスと効率性の根本的トレードオフを強調している。

ABSTRACT

Many recent developments in causal inference, and functional estimation problems more generally, have been motivated by the fact that classical one-step (first-order) debiasing methods, or their more recent sample-split double machine-learning avatars, can outperform plugin estimators under surprisingly weak conditions. These first-order corrections improve on plugin estimators in a black-box fashion, and consequently are often used in conjunction with powerful off-the-shelf estimation methods. These first-order methods are however provably suboptimal in a minimax sense for functional estimation when the nuisance functions live in Holder-type function spaces. This suboptimality of first-order debiasing has motivated the development of "higher-order" debiasing methods. The resulting estimators are, in some cases, provably optimal over Holder-type spaces, but both the estimators which are minimax-optimal and their analyses are crucially tied to properties of the underlying function space. In this paper we investigate the fundamental limits of structure-agnostic functional estimation, where relatively weak conditions are placed on the underlying nuisance functions. We show that there is a strong sense in which existing first-order methods are optimal. We achieve this goal by providing a formalization of the problem of functional estimation with black-box nuisance function estimates, and deriving minimax lower bounds for this problem. Our results highlight some clear tradeoffs in functional estimation -- if we wish to remain agnostic to the underlying nuisance function spaces, impose only high-level rate conditions, and maintain compatibility with black-box nuisance estimators then first-order methods are optimal. When we have an understanding of the structure of the underlying nuisance functions then carefully constructed higher-order estimators can outperform first-order estimators.

研究の動機と目的

• 関数空間の構造に関する最小限の仮定の下で、ブラックボックス型ネイビュア推定器を用いた関数推定問題を形式化すること。
• 構造に依存しない条件下で、より高次のデバイアス法が1次法を上回れるかどうかを調査すること。
• 最小最大下界を導出することで、関数推定における適応性の根本的限界を確立すること。
• 非パラメトリック推定におけるロバストネス（構造に依存しないこと）と効率性（最小最大最適性）のトレードオフを明確にすること。
• ネイビュア関数について強い構造的仮定がなされない限り、1次法が最適であることを示すこと。

提案手法

• ネイビュア関数の弱い正則性条件の下で、関数推定を最小最大意思決定問題として形式化する。
• 制約付きリスク不等式（補題4）を用いて最小最大下界を導出し、適応性の代償を定量化する。
• 特にホルダー型空間を含むさまざまな滑らかさクラスにおける推定器のリスクを分析する。
• 1次推定器（例：ワンステップ法、ダブルマシンラーニング）とより高次のデバイアススキームの性能を比較する。
• パrameter空間の半径に基づく2ケース分析を用いて、改善された推定器の非適応性を確立する。
• 集中不等式と対数スケーリングを用いて、適応的推定器のリスクを1次基準と比較してバインドする。

実験結果

リサーチクエスチョン

• RQ1 構造に依存しない条件下で、より高次のデバイアス法が1次推定器を上回れるか？
• RQ2 ネイビュア関数がブラックボックス手法で推定される場合、関数推定における適応性の根本的限界は何か？
• RQ3 ネイビュア関数に強い構造的仮定がなければ、関数推定で√nより速いレートを達成することは可能か？
• RQ4 最小最大推定において、適応性の代償が避けられないのはどのような条件下か？
• RQ5 さまざまな滑らかさクラスにおいて、1次推定器とより高次の推定器の最小最大リスクはどのように比較されるか？

主な発見

• ネイビュア関数について強い構造的仮定がなされない限り、1次デバイアス法は関数推定において最小最大最適である。
• 1次推定器のリスクを改善するには、関数空間の強い構造的仮定が必要である。
• 本稿は非適応性の結果を確立する：ある滑らかさレベルで良好に機能する推定器は、他の滑らかさレベルでは劣悪になるが、強い構造的仮定がなければそのような非適応性は避けられない。
• $ r_1 \leq \log(1/\delta)/n $ の場合、任意の改善された推定器のリスクは下から $ \gtrsim \frac{\log(1/(\varepsilon\delta))\|\widehat{\theta}\|_2^2}{n} $ で抑えられ、一方で1次推定器 $ \widehat{Q}_{\text{ad}}^\theta $ は $ \lesssim \frac{\log(1/\delta)\|\widehat{\theta}\|_2^2}{n} $ を達成する。これは根本的なギャップを示している。
• $ r_1 \geq \log(1/\delta)/n $ の場合、任意の改善された推定器のリスクは下から $ \gtrsim \frac{\log(1/(\varepsilon\log(1/\delta)))\|\widehat{\theta}\|_2^2}{n} $ で抑えられ、$ \widehat{Q}_{\text{ad}}^\theta $ は $ \lesssim \frac{\delta\|\widehat{\theta}\|_2^2}{n} $ を達成する。再び、構造的仮定がなければ適応性が達成できないことを示している。