[論文レビュー] Mostly Harmless Machine Learning: Learning Optimal Instruments in Linear IV Models

Jiafeng Chen, Daniel L. Chen+1 more|arXiv (Cornell University)|Nov 12, 2020

Law, Economics, and Judicial Systems参考文献 37被引用数 7

ひとこと要約

本稿は、線形インストルメンタル変数（IV）推定のための使いやすい機械学習手法を提案する。この手法は、器具変数と内生的処置の間の非線形関係を活用することで、精度と頑健性を向上させる。サンプル分割と機械学習を用いて、処置を器具変数と外生的共変数から予測するが、予測値を共変数に関して線形に制約することで、有効な識別性を保証し、一貫性があり、漸近的に正規分布に従う推定値を提供する。これにより、器具の強度が向上する。

ABSTRACT

We offer straightforward theoretical results that justify incorporating machine learning in the standard linear instrumental variable setting. The key idea is to use machine learning, combined with sample-splitting, to predict the treatment variable from the instrument and any exogenous covariates, and then use this predicted treatment and the covariates as technical instruments to recover the coefficients in the second-stage. This allows the researcher to extract non-linear co-variation between the treatment and instrument that may dramatically improve estimation precision and robustness by boosting instrument strength. Importantly, we constrain the machine-learned predictions to be linear in the exogenous covariates, thus avoiding spurious identification arising from non-linear relationships between the treatment and the covariates. We show that this approach delivers consistent and asymptotically normal estimates under weak conditions and that it may be adapted to be semiparametrically efficient (Chamberlain, 1992). Our method preserves standard intuitions and interpretations of linear instrumental variable methods, including under weak identification, and provides a simple, user-friendly upgrade to the applied economics toolbox. We illustrate our method with an example in law and criminal justice, examining the causal effect of appellate court reversals on district court sentencing decisions.

研究の動機と目的

• 従来の二段階最小二乗法（TSLS）が内生的変数と器具変数の間の線形関係しか活用しないという限界に対処すること。これにより、器具が弱い場合に精度が著しく低下する。
• 外生的共変数の非線形変換による誤った識別性を引き起こさずに、機械学習を用いて器具から非線形変動を抽出する手法を開発すること。
• 柔軟な第一段階の予測を組み込む一方で、Anderson–RubinやWald信頼区間などの標準的なIVの解釈と推論ツールを維持すること。
• 第一段階に機械学習を適用することで、弱い器具を強化し、高次元または複雑なデータ設定下でも推定の効率性を向上させることの可能性を示すこと。
• 解釈可能性と頑健性を保ちつつ、実用的で、半パラメトリックに効率的で、使いやすい、応用経済統計学のツールキットへのアップグレードを提供すること。

提案手法

• 第一段階（器具予測）と第二段階（構造的推定）を分離するためのサンプル分割を用い、有効な推論を保証する。
• 第一段階で、外生的共変数と器具変数から内生的処置を予測するために、市販の機械学習モデル（例：LightGBM、Random Forest）を適用する。
• 機械学習の予測値を外生的共変数に関して線形に制約することで、共変数の非線形性に起因する誤った識別性を回避する。
• 第二段階で、予測された処置と外生的共変数を技術的器具として用い、線形IVフレームワークを維持する。
• 第一段階の予測が一貫しているという弱い条件下でも、漸近的正規性と一貫性を保証する。
• 最適推定方程式フレームワーク（Chamberlain, 1992）を活用することで、半パラメトリックに効率的となるようにこの手法を適応する。

実験結果

リサーチクエスチョン

• RQ1 機械学習を用いて線形IVモデルにおける器具から非線形変動を抽出することは可能か？ ただし識別性が無効化されないか。
• RQ2 柔軟な第一段階の予測を組み込むことで、従来の線形または二次のTSLSと比較して、推定の精度と頑健性が向上するか？
• RQ3 第一段階に機械学習を適用しても、Anderson–RubinやWald信頼区間などの有効な推論ツールを維持できるか？
• RQ4 弱い器具の存在下で、特にF統計量が低いため従来のTSLSが失敗する状況下で、この手法はどのように性能を発揮するか？
• RQ5 機械学習を用いることで、内生的処置に対する予測力が向上し、器具の強度が強化される程度はどの程度か？

主な発見

• MLSS推定量は、第一段階の予測が柔軟であっても、弱い条件下で一貫性があり、漸近的に正規分布に従う推定値を提供する。
• この手法は器具からの非線形変動を効果的に抽出し、線形または二次のTSLSと比較して器具の強度を向上させ、標準誤差を低減する。
• 上訴裁判所の逆転事例への実応用において、MLSS推定量は線形TSLSよりも狭い信頼区間を生み出した。線形TSLSのF統計量はわずか1.5であり、Anderson–Rubin区間は広く[-3.3, 23.8]であった。
• 二次のTSLSはモデルの不適合により空のAnderson–Rubin区間を生じたが、MLSS推定量（例：LightGBM、RandomForest）はこの問題を回避し、非空で精度の高い区間を提供した。
• 多項式展開を用いた分割サンプル推定量は、外側のサンプルR²がほぼゼロで、各分割における点推定値が著しく変動し、MLSSとは対照的に性能が低かった。
• この手法は、第二段階の推定が設計上ちょうど識別され、異方性処置効果が存在する場合でも空の信頼集合を避ける。