[論文レビュー] DoubleML -- An Object-Oriented Implementation of Double Machine Learning in R

Philipp Bach, Victor Chernozhukov+3 more|arXiv (Cornell University)|Mar 17, 2021

Mental Health Research TopicsPsychology参考文献 67被引用数 21

ひとこと要約

この論文は、オブジェクト指向設計を用いて、mlr3エコシステムおよびネイマン直交性を活用し、高次元モデルにおける有効な因果推論を可能にする、RパッケージDoubleMLを紹介する。部分線形回帰モデルやインタラクティブ回帰モデルなどの高次元モデルにおいて、Neyman直交性、サンプル分割、mlr3の機械学習推定器を活用することで、複雑な正規化関数に対しても、頑健かつ効率的な因果パラメータ推定が可能になる。

ABSTRACT

The R package DoubleML implements the double/debiased machine learning framework of Chernozhukov et al. (2018). It provides functionalities to estimate parameters in causal models based on machine learning methods. The double machine learning framework consist of three key ingredients: Neyman orthogonality, high-quality machine learning estimation and sample splitting. Estimation of nuisance components can be performed by various state-of-the-art machine learning methods that are available in the mlr3 ecosystem. DoubleML makes it possible to perform inference in a variety of causal models, including partially linear and interactive regression models and their extensions to instrumental variable estimation. The object-oriented implementation of DoubleML enables a high flexibility for the model specification and makes it easily extendable. This paper serves as an introduction to the double machine learning framework and the R package DoubleML. In reproducible code examples with simulated and real data sets, we demonstrate how DoubleML users can perform valid inference based on machine learning methods.

研究の動機と目的

• Rにおけるダブルマシンラーニングフレームワークの柔軟で拡張可能かつ再現可能な実装を提供すること。
• 正規化関数の推定誤差に対して頑健であるように、ネイマン直交性、サンプル分割、および正規化パラメータ推定のための機械学習を組み合わせることで、高次元因果モデルにおける有効な推論を可能にすること。
• 部分線形、インタラクティブ、およびインスツルメンタル変数モデルを含む多様な因果モデルを、拡張可能なオブジェクト指向アーキテクチャを通じてサポートすること。
• mlr3エコシステムとのシームレスな統合により、柔軟なモデル指定、チューニング、リサンプリングが可能になること。
• 再現性のある研究を促進するため、統合された再現コードを提供し、シミュレートされたデータおよび実世界のデータ例の両方をサポートすること。

提案手法

• R6クラスに基づくオブジェクト指向設計を用いて、スコア関数や推定論理などのモデル固有のコンponentsをカプセル化する。
• 正規化関数の推定誤差に対して頑健であるように、ネイマン直交 estimating equations を実装する。
• 推定の妥当性を向上させるために、目的パラメータの推定と正規化関数の推定を分離する目的で、サンプル分割を採用する。
• 条件付き平均やプロビティススコアなどの正規化関数は、mlr3エコシステムの最先端の機械学習手法を用いて推定する。
• さまざまなリサンプリングスキームをサポートし、標準誤差推定、信頼区間、およびマルチプライヤーブートストラップを用いた同時推論のための組み込み手順を含む。
• 目的パラメータに関して線形で、かつネイマン直交性を満たす新しいスコア関数を定義することで、新しいモデルタイプを追加可能である。

実験結果

リサーチクエスチョン

• RQ1 Rにおけるダブルマシンラーニングの効果的な実装は、高次元因果モデルにおける有効な推論をどのように可能にするか？
• RQ2 DoubleMLのオブジェクト指向設計は、多様な因果モデルにおける柔軟性と拡張性をどの程度向上させるか？
• RQ3 mlr3エコシステムとの統合は、多様な機械学習手法における頑健でスケーラブルな推定をどのように支援するか？
• RQ4 DoubleMLは、PLR、PLIV、IRM、IIVMモデルを含むさまざまなデータ生成過程における有限標本サイズでどの程度の性能を示すか？
• RQ5 高次元の交絡要因を伴うシミュレーションスタディにおいて、DoubleMLの経験的性能（被覆確率、サイズ、検出力）はいかがなっているか？

主な発見

• DoubleMLは、部分線形およびインタラクティブ回帰モデル（インスツルメンタル変数拡張を含む）を含め、ダブルマシンラーニングフレームワークをRで完全に実装している。
• ネイマン直交性の確保とサンプル分割による正規化関数推定バイアスの低減により、高次元設定でも有効な推論を達成している。
• n=500およびn=1000の標本サイズのシミュレーションスタディにおいて、PLIV、IRM、IIVMモデルの信頼区間に対して適切な被覆率が維持されている。
• 繰り返しシミュレーションにおいて、モデルの誤指定や高次元正規化関数の推定誤差に対しても、安定したサイズと検出力を示しており、頑健性が確認された。
• mlr3との統合により、正規化関数のための機械学習モデルの柔軟かつ自動的なチューニングが可能となり、推定効率が向上した。
• マルチプライヤーブートストラップ手順により、同時信頼領域や調整済みp値を含む高度な推論が可能になった。