[論文レビュー] Parametric inference with universal function approximators

Andreas Joseph|arXiv (Cornell University)|Jan 1, 2019

Statistical Methods and Inference参考文献 40被引用数 5

ひとこと要約

本稿では、シャープレー・テイラー分解を用いて、ニューラルネットワークなどの普遍的関数近似器を用いたパラメトリック推論を可能にするフレームワークを提案する。この手法により、複雑なモデルの仮説検定と解釈が可能となり、特に異方性処置効果の推定において、高次シャープレー・テイラーインデックスを用いることで解釈可能性と一般化性を維持する。

ABSTRACT

Universal function approximators, such as artificial neural networks, can learn a large variety of target functions arbitrarily well given sufficient training data. This flexibility comes at the cost of the ability to perform parametric inference. We address this gap by proposing a generic framework based on the Shapley-Taylor decomposition of a model. A surrogate parametric regression analysis is performed in the space spanned by the Shapley value expansion of a model. This allows for the testing of standard hypotheses of interest. At the same time, the proposed approach provides novel insights into statistical learning processes themselves derived from the consistency and bias properties of the nonparametric estimators. We apply the framework to the estimation of heterogeneous treatment effects in simulated and real-world randomised experiments. We introduce an explicit treatment function based on higher-order Shapley-Taylor indices. This can be used to identify potentially complex treatment channels and help the generalisation of findings from experimental settings. More generally, the presented approach allows for a standardised use and communication of results from machine learning models.

研究の動機と目的

• 柔軟な普遍的関数近似器とパラメトリック統計的推論の間のギャップを埋めること。
• モデルの柔軟性を損なわずに機械学習モデルにおける標準的な仮説検定を可能にすること。
• 一貫性のある偏りのある非パラメトリック推定器を用いて、統計的学習プロセスへの解釈可能なインサイトを提供すること。
• 高次シャープレー・テイラーインデックスを用いて、無作為化実験における複雑な処置チャネルを同定する手法を開発すること。
• ブラックボックス機械学習モデルの結果のコミュニケーションと利用を標準化すること。

提案手法

• フレームワークは、モデルの予測関数を入力空間における多項式形式に展開するためにシャープレー・テイラー分解を用いる。
• シャープレー値の展開に基づいて、補間パラメトリック回帰モデルを適合させ、標準的な推論手順を可能にする。
• 高次シャープレー・テイラーインデックスを明示的にモデル化し、複雑な非線形処置相互作用を捉える。
• 非パラメトリック推定器の一貫性とバイアス特性を活用して、信頼性のある推論を保証する。
• シミュレーションおよび実世界の無作為化実験にこのアプローチを適用し、異方性処置効果を推定する。
• 仮説検定を補間パラメトリックモデル上で実施し、p値と信頼区間を提供する。

実験結果

リサーチクエスチョン

• RQ1 普遍的関数近似器は、非パラメトリック性を有するにもかかわらず、有効なパラメトリック推論に用いることができるか？
• RQ2 シャープレー・テイラーインデックスは、実験データにおける複雑な処置チャネルをどのようにモデル化・解釈できるか？
• RQ3 機械学習モデルにおける処置効果推定に、高次相互作用効果が与える影響は何か？
• RQ4 提案されたフレームワークは、無作為化実験の結果をより広範な集団に一般化するのを改善できるか？
• RQ5 シャープレー値に基づく補間パラメトリックモデルは、標準的なパラメトリックモデルと比較して、解釈可能性と推論妥当性の面で優れているか？

主な発見

• 本フレームワークは、シャープレー・テイラー分解に基づく補間モデリングにより、複雑で非パラメトリックなモデルに対しても標準的なパラメトリック推論を実現した。
• 高次シャープレー・テイラーインデックスは、従来のモデルでは見えにくかった非線形的かつ複雑な処置チャネルを明らかにした。
• 本手法は、シミュレーションおよび実世界の無作為化実験の両方において、異方性処置効果の一貫性があり解釈可能な推定を提供した。
• 補間パラメトリックモデルにより、普遍的関数近似器から導出されたモデル部品に対しても、仮説検定（p値と信頼区間を含む）が可能となった。
• 処置反応における複雑な相互作用効果を同定・モデル化することで、実験結果の一般化性が向上した。
• 本フレームワークは、機械学習モデルの結果の標準化されたコミュニケーションを支援し、透明性と再現性を向上させた。