[論文レビュー] RieszNet and ForestRiesz: Automatic Debiased Machine Learning with Neural Nets and Random Forests

Victor Chernozhukov, Whitney K. Newey+2 more|arXiv (Cornell University)|Oct 6, 2021

Advanced Causal Inference Techniques被引用数 5

ひとこと要約

RieszNet および ForestRiesz は、ニューラルネットワークとランダムフォレストを用いて、マルチタスクのエンドツーエンド学習による Riesz 代表者学習を活用することで、因果推論のための自動的バイアス除去手法を導入する。これにより、$√{n}$-一貫性があり、漸近的に正規分布に従う推定量が得られる。この手法は、平均処置効果や平均限界効果の推定において、名目水準に近い信頼区間のカバレッジを実現し、先行研究を上回る性能を示す。

ABSTRACT

Many causal and policy effects of interest are defined by linear functionals of high-dimensional or non-parametric regression functions. $\sqrt{n}$-consistent and asymptotically normal estimation of the object of interest requires debiasing to reduce the effects of regularization and/or model selection on the object of interest. Debiasing is typically achieved by adding a correction term to the plug-in estimator of the functional, which leads to properties such as semi-parametric efficiency, double robustness, and Neyman orthogonality. We implement an automatic debiasing procedure based on automatically learning the Riesz representation of the linear functional using Neural Nets and Random Forests. Our method only relies on black-box evaluation oracle access to the linear functional and does not require knowledge of its analytic form. We propose a multitasking Neural Net debiasing method with stochastic gradient descent minimization of a combined Riesz representer and regression loss, while sharing representation layers for the two functions. We also propose a Random Forest method which learns a locally linear representation of the Riesz function. Even though our method applies to arbitrary functionals, we experimentally find that it performs well compared to the state of art neural net based algorithm of Shi et al. (2019) for the case of the average treatment effect functional. We also evaluate our method on the problem of estimating average marginal effects with continuous treatments, using semi-synthetic data of gasoline price changes on gasoline demand.

研究の動機と目的

• モーメント関数の解析的形を必要とせずに、因果関数の推定のための自動的バイアス除去技術を開発すること。
• モーメント関数のオракルアクセスのみに依存して、高次元または非パラメトリック関数の $√{n}$-一貫性および漸近正規性推定を可能にすること。
• ディープラーニングおよび木構造モデルを用いた因果推論タスク（平均処置効果や平均限界効果の推定）における推論性能の向上。
• 表現学習と補正項のマルチタスク学習およびエンドツーエンド最適化が、推定精度とカバレッジを向上させることを示すこと。
• 政策評価や解釈可能な機械学習といった実世界の問題に対して、実証的ベンチマークを用いて手法の有効性を検証すること。

提案手法

• RieszNet を提案。これは、共有表現層と確率的勾配降下法を用いた結合損失関数に基づき、回帰関数とその Riesz 代表者を同時に学習するマルチタスクニューラルネットワーク。
• 回帰と Riesz 代表者予測の両方に共通の表現層を用いるアーキテクチャを導入。これにより、両者の同時最適化が可能となる。
• Riesz 代表者と回帰モデルのエンドツーエンド学習を実施。特にターゲット最大尤度推定（TMLE）補正を組み込むことで、バイアスを低減。
• Riesz 代表者を局所線形に学習するランダムフォレストベースの手法である ForestRiesz を開発。1つの木のアンサンブル内で、回帰関数と Riesz 代表者関数を同時に推定。
• 過学習バイアスを低減し、特に高次元設定において信頼区間のカバレッジを向上させるために、クロスフィットを用いる。
• 関数やその微分の解析的形を明示的に必要とせず、モーメント関数へのオラクルアクセスにのみ依存する。

実験結果

リサーチクエスチョン

• RQ1 解析的形を必要とせずに、ニューラルネットワークが線形関数の Riesz 代表者を効果的に学習できるか。
• RQ2 回帰関数と Riesz 代表者ネットワークのマルチタスクエンドツーエンド学習は、分離学習に比べて推定精度と推論カバレッジを向上させるか。
• RQ3 ランダムフォレストを変更して、バイアスのない因果推論のための局所線形 Riesz 代表者を学習可能か。
• RQ4 クロスフィットは、ForestRiesz における信頼区間カバレッジにどのように影響するか。非クロスフィットバージョンと比較して。
• RQ5 提案手法は、平均処置効果や平均限界効果といった実世界の因果推論問題において、名目水準に近いカバレッジと $√{n}$-一貫性を達成できるか。

主な発見

• IHDP データセットにおいて、RieszNet は平均処置効果（ATE）の信頼区間で 95.0% のカバレッジを達成。名目水準と一致。バイアスは 0.070、RMSE は 0.313。
• BHP 実験において、ForestRiesz は平均限界効果で 94.5% のカバレッジを達成。バイアスは -0.091、RMSE は 0.331。非マルチタスクおよび非クロスフィットバージョンを上回る性能。
• アブレーションスタディでは、RieszNet におけるマルチタスク学習とエンドツーエンドトレーニングが重要であることが判明。分離学習や固定表現層では性能が著しく低下。
• クロスフィットは ForestRiesz におけるカバレッジを顕著に向上。クロスフィットなしでは 84.6% から、単純なクロスフィットでは 91.1% に向上。ベースラインマルチタスク設定ではさらに 94.5% まで向上。
• 平均処置効果推定において、Shi ら（2019）の最先端のニューラルネットベース手法を上回り、バイアス、RMSE、カバレッジの点で優れた性能を示した。
• 提案フレームワークにより、連続的処置を伴う平均限界効果などの複雑な関数の有効な推論が可能となり、漸近正規性と名目水準に近いカバレッジを達成した。