[論文レビュー] From interpretability to inference: an estimation framework for universal approximators

Andreas Joseph|arXiv (Cornell University)|Mar 11, 2019

Statistical Methods and Inference被引用数 27

ひとこと要約

本稿では、シャープレー＝テイラー分解を用いて複雑なモデル予測を線形で解釈可能な空間に変換することにより、ニューラルネットワークなどの汎用関数近似器を用いたパrametric統計的推論を可能にする新規な推論フレームワークを提案する。この手法はモデルの柔軟性を保ちつつ、仮説検定と信頼区間の構築を可能にし、誤差の一貫性の条件下で一貫した推定と有効な推論を示す。

ABSTRACT

We present a novel framework for estimation and inference with the broad class of universal approximators. Estimation is based on the decomposition of model predictions into Shapley values. Inference relies on analyzing the bias and variance properties of individual Shapley components. We show that Shapley value estimation is asymptotically unbiased, and we introduce Shapley regressions as a tool to uncover the true data generating process from noisy data alone. The well-known case of the linear regression is the special case in our framework if the model is linear in parameters. We present theoretical, numerical, and empirical results for the estimation of heterogeneous treatment effects as our guiding example.

研究の動機と目的

• ニューラルネットワークやツリー集合モデルなどの柔軟な機械学習モデルに統計的推論機能が欠如している問題に対処する。
• 非パラメトリックな予測をパラメトリック回帰フレームワークに変換することで、モデルの解釈可能性と形式的統計的推論のギャップを埋める。
• 機械学習モデルにおける複雑な非線形効果および高次相互作用に対して、仮説検定と信頼区間の構築を可能にする。
• 特に実験的状況において、複雑な機械学習モデルからの結果を標準的で解釈可能な形式で通信できるようにする。
• 提案フレームワークで用いられる非パラメトリック推定量の理論的一貫性およびバイアスの性質を確立し、大標本条件下での信頼性ある推論を保証する。

提案手法

• シャープレー＝テイラー分解を用いて、モデル予測を個々の特徴量およびその相互作用からの寄与に分解し、補助線形モデルの基盤を形成する。
• 得られた分解結果を補助パラメトリック回帰モデルにおける生成回帰変数として用い、標準的な推論手順を可能にする。
• シャープレー値展開が張る空間における線形モデルを構築し、係数を解釈可能な効果推定値に対応させる。
• 汎用近似器の誤差の一貫性を活用する：標本サイズが増加するにつれて、推定モデルは真のデータ生成過程に収束する。
• 解析的モデル（例：ニューラルネットワーク、SVM）と非解析的モデル（例：ツリー集合）の両方を扱うために、異なる正則性条件下での一貫性を証明する。
• 高次シャープレー＝テイラーインデックスを明示的な処置関数として導入し、ラントム化実験における複雑な処置経路を同定する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークなどの汎用関数近似器に対して、仮説検定や信頼区間を含む有効なパラメトリック推論を実行できるか？
• RQ2 柔軟で非パラメトリックなモデルの予測を、標準的なパラメトリック推論に適した形に変換しつつ、解釈可能性を保持する方法は何か？
• RQ3 シャープレーに基づく補助回帰フレームワークが推定の一貫性および不偏性を保証する理論的条件は何か？
• RQ4 高次シャープレー＝テイラーインデックスをどのように用いて、実験データにおける複雑な非線形処置効果および相互作用経路を解明できるか？
• RQ5 提案フレームワークは、データの既知の確率的モデルを仮定せず、ブライマンの「二つの文化」をどの程度統合できるか？

主な発見

• 提案されたシャープレー回帰フレームワークにより、シャープレー＝テイラー分解を用いて予測を線形で解釈可能な空間に変換することで、汎用近似器に対する有効なパラメトリック推論（仮説検定や信頼区間を含む）が可能になる。
• 誤差の一貫性の下では、真のモデルパラメータと推定モデルパラメータの差が標本サイズが増加するにつれて消えていくため、補助モデルの係数の漸近的一貫性が保証される。
• 解析的モデル（例：ニューラルネットワーク）では、テイラー展開と微分可能性に依存し、大標本条件下で剰余項が消える。
• 非解析的モデル（例：ツリー集合）では、リーフノードの期待値の収束を用いることで、微分可能性がなくても一貫性が保証される。
• 高次シャープレー＝テイラーインデックスに基づく明示的な処置関数を用いることで、非線形および高次効果の推定が可能となり、複雑な処置経路の検出が可能になる。
• 大標本条件下で真のシャープレー成分と推定されたシャープレー成分の差が消えることにより、理論的に有効性が保証され、補助モデルの係数が真の効果パラメータに収束することが示された。