[論文レビュー] On nearly assumption-free tests of nominal confidence interval coverage for causal parameters estimated by machine learning

Lin Liu, Rajarshi Mukherjee+1 more|arXiv (Cornell University)|Apr 8, 2019

Statistical Methods and Inference参考文献 65被引用数 5

ひとこと要約

本稿では、二重にロバストな機械学習によって推定された因果パラメータの名目的信頼区間の妥当性を評価するための、U統計量に基づく新規手法である仮定フリーの経験的カバレッジ検定（AFECTs）を提案する。AFECTsは、推定量のバイアスが標準誤差と同階層にあるかどうか——信頼区間のカバレッジ妥当性にとって不可欠な要因——を、正則性やスパarsityに関する仮定を必要とせず検証する。高次元設定における推論の信頼性を強固に検証できる。

ABSTRACT

For many causal effect parameters of interest, doubly robust machine learning (DRML) estimators $\hatψ_{1}$ are the state-of-the-art, incorporating the good prediction performance of machine learning; the decreased bias of doubly robust estimators; and the analytic tractability and bias reduction of sample splitting with cross fitting. Nonetheless, even in the absence of confounding by unmeasured factors, the nominal $(1 - α)$ Wald confidence interval $\hatψ_{1} \pm z_{α/ 2} \widehat{\mathsf{se}} [\hatψ_{1}]$ may still undercover even in large samples, because the bias of $\hatψ_{1}$ may be of the same or even larger order than its standard error of order $n^{-1/2}$. In this paper, we introduce essentially assumption-free tests that (i) can falsify the null hypothesis that the bias of $\hatψ_{1}$ is of smaller order than its standard error, (ii) can provide an upper confidence bound on the true coverage of the Wald interval, and (iii) are valid under the null under no smoothness/sparsity assumptions on the nuisance parameters. The tests, which we refer to as \underline{A}ssumption \underline{F}ree \underline{E}mpirical \underline{C}overage \underline{T}ests (AFECTs), are based on a U-statistic that estimates part of the bias of $\hatψ_{1}$.

研究の動機と目的

• 大標本においても機械学習推定量のバイアスによって名目的信頼区間がカバレッジ不足になるリスクに対処すること。
• 滑らかさやスパarsityに関する仮定に依存せずに、バイアスが標準誤差に比べて無視できるという帰無仮説を棄却できる検定を開発すること。
• 二重にロバストな機械学習推定量のWald信頼区間の真のカバレッジ率の上側信頼区間を提供すること。
• 従来の正則性仮定が成立しない高次元設定でも有効な推論を可能にすること。

提案手法

• AFECTsは、二重にロバストな機械学習推定量のバイアスの一部を推定するU統計量に基づく。
• 被験者分割とクロスフィットリングを用いて、不確実パrameterの推定量への依存を低減する統計量を構築する。
• 高階のインフルエンス関数を活用して、推定量のバイアス寄与を分解・推定する。
• 真の共分散行列が未知であっても、インフルエンス関数の共分散行列に対して頑健な推定量を用いる。
• 滑らかさやスパarsityに関する仮定を必要とせず、最小限の正則性条件のもとで漸近的に有効な検定である。
• 直接的なカバレッジ検証が不可能な状況でも、名目的カバレッジを正当化する仮定の妥当性を検証できる。

実験結果

リサーチクエスチョン

• RQ1 不確実パrameterに滑らかさやスパarsityに関する仮定を置かずに、二重にロバストな機械学習推定量のバイアスが標準誤差と同階層にあるかどうかを検証できるか？
• RQ2 データ生成過程に関するパラメトリックな仮定に依存せず、名目的Wald信頼区間の真のカバレッジ率の上側信頼区間を構築できるか？
• RQ3 不確実推定量が悪くても、バイアスが標準誤差に比べて無視できるという帰無仮説のもとで有効な検定を構築できるか？
• RQ4 標準的な仮定（例：滑らかさ）が満たされない場合、AFECTsは信頼区間のカバレッジ不足をどの程度検出できるか？
• RQ5 複雑な依存構造と高次元性、非滑らか性を伴う設定において、AFECTsの性能は既存手法と比べてどうか？

主な発見

• 滑らかさやスパarsityに関する仮定を置かずに、二重にロバストな機械学習推定量のバイアスが標準誤差よりも小さいという帰無仮説を棄却できる。
• 最小限の正則性条件のもとで、名目的Wald区間の真のカバレッジ率の上側信頼区間を提供する。
• シミュレーションでは、バイアスが標準誤差と同階層にある場合に、特に非滑らかで高次元な設定でカバレッジ不足を的確に検出できた。
• 推定共分散行列がデータ適応的であっても、その理論的性質が完全に確立されていなくても、検定は有効である。
• AFECTsのU統計量ベースのアプローチは、不確実パrameterのモデル誤指定に対しても頑健であり、帰無仮説のもとで正しいサイズを維持する。
• AFECTsはすべての因果パラメータのカバレッジ不足を直接検証できないが、名目的カバレッジを正当化する仮定（例：滑らかさ）の妥当性を検証でき、推論の妥当性を検証する実用的な道筋を提供する。