[論文レビュー] Minimax Kernel Machine Learning for a Class of Doubly Robust Functionals.

AmirEmad Ghassami, Andrew Ying+2 more|arXiv (Cornell University)|Apr 7, 2021

Statistical Methods and Inference参考文献 44被引用数 9

ひとこと要約

本稿では、ノイズ関数の依存性をミニマックス最適化フレームワークによって最小化することで、二重にロバストな機能的関数を推定するためのミニマックスカーネル機械学習手法を提案する。誤差積率および作用素の悪条件性に結びつく条件下で漸近的線形性を確立し、再生核ヒルベルト空間（RKHS）とラデマッハ複雑度解析を用いて、潜在的交絡要因が存在する場合でさえも、非パラメトリックな平均因果効果推定を可能にする。

ABSTRACT

A moment function is called doubly robust if it is comprised of two nuisance functions and the estimator based on it is a consistent estimator of the target parameter even if one of the nuisance functions is misspecified. In this paper, we consider a class of doubly robust moment functions originally introduced in (Robins et al., 2008). We demonstrate that this moment function can be used to construct estimating equations for the nuisance functions. The main idea is to choose each nuisance function such that it minimizes the dependency of the expected value of the moment function to the other nuisance function. We implement this idea as a minimax optimization problem. We then provide conditions required for asymptotic linearity of the estimator of the parameter of interest, which are based on the convergence rate of the product of the errors of the nuisance functions, as well as the local ill-posedness of a conditional expectation operator. The convergence rates of the nuisance functions are analyzed using the modern techniques in statistical learning theory based on the Rademacher complexity of the function spaces. We specifically focus on the case that the function spaces are reproducing kernel Hilbert spaces, which enables us to use its spectral properties to analyze the convergence rates. As an application of the proposed methodology, we consider the parameter of average causal effect both in presence and absence of latent confounders. For the case of presence of latent confounders, we use the recently proposed proximal causal inference framework of (Miao et al., 2018; Tchetgen Tchetgen et al., 2020), and hence our results lead to a robust non-parametric estimator for average causal effect in this framework.

研究の動機と目的

• 二重にロバストなモーメント関数によって定義されるパrameterのロバストな非パラメトリック推定手法を開発すること。特に、モデル誤り指定が存在する場合を想定する。
• 観察されたおよび観察されない両方の交絡要因が存在する状況において、プロキシアル因果推論フレームワークを用いて因果効果を推定する課題に対処すること。
• ノイズ関数推定誤差の収束速度および条件付き期待値作用素の悪条件性に基づく、推定量の漸近的線形性の十分条件を確立すること。
• 現代の統計学習理論、特に再生核ヒルベルト空間におけるラデマッハ複雑度を用いて、ノイズ関数の収束速度を分析すること。
• 一つのノイズ関数が誤って指定された場合でも一貫性を保つ理論的根拠に基づく非パラメトリックな平均因果効果推定量を提供すること。

提案手法

• 推定問題をミニマックス最適化として定式化する：期待モーメント関数が他のノイズ関数への感受性を最小化するようにし、サドルポイント問題に帰着させる。
• ノイズ関数を再生核ヒルベルト空間（RKHS）でモデル化し、収束速度解析にあたってそのスペクトル的性質を活用する。
• RKHSに特化したラデマッハ複雑度の境界を用いてノイズ関数推定量の収束速度を導出し、推定誤差を制御する。
• 二重にロバストなモーメント関数の構造に基づいてノイズ関数の推定方程式を構築し、連合推定を可能にする。
• 二つのノイズ関数の推定誤差の積と、局所的な悪条件性を持つ条件付き期待値作用素の分析を通じて、パrameter推定量の漸近的線形性を確立する。
• 潜在的交絡要因が存在するプロキシアル因果推論設定において、平均因果効果推定にこのフレームワークを適用する。従来の手法が失敗する状況でも有効である。

実験結果

リサーチクエスチョン

• RQ1 モデル誤り指定下でも、二重にロバストな機能的関数の推定量を構築するためにミニマックスカーネル機械学習手法を用いることができるか？
• RQ2 ノイズ関数推定量の収束速度にどのような条件が課されると、パrameter推定量の漸近的線形性が保証されるか？
• RQ3 条件付き期待値作用素の局所的悪条件性が推定効率性および収束速度にどのように影響するか？
• RQ4 潜在的交絡要因が存在する状況でも、提案手法が平均因果効果の一貫性のある推定を達成できるか？
• RQ5 RKHSのスペクトル的性質が推定誤差の制御および理論的保証の確保に果たす役割は何か？

主な発見

• 提案手法は、ノイズ関数推定誤差の積および条件付き期待値作用素の悪条件性に結びつく条件下で、パrameter推定量の漸近的線形性を保証する。
• ノイズ関数の収束速度は、再生核ヒルベルト空間におけるラデマッハ複雑度の境界を用いて導出され、推定誤差に対する理論的制御を提供する。
• 本手法は二重ロバスト性を達成する：二つのノイズ関数のうち一方が誤って指定された場合でも、推定量の一貫性が保たれる。
• 本フレームワークは、プロキシアル因果推論フレームワークを介して、潜在的交絡要因が存在する状況における平均因果効果の非パラメトリック推定を可能にする。
• RKHSのスペクトル的性質は、条件付き期待値作用素の悪条件性の特徴付けおよび有限標本誤差境界の導出に不可欠な役割を果たす。
• 最小限の滑らかさの仮定の下で理論的保証が確立されており、本手法は複雑な依存構造を持つ広範な半パラメトリックモデルクラスに適用可能である。