[論文レビュー] Dual Instrumental Variable Regression

Krikamol Muandet, Arash Mehrjou+2 more|arXiv (Cornell University)|Oct 27, 2019

Statistical Methods and Inference参考文献 49被引用数 16

ひとこと要約

この論文は、2段階IV推定を凸凹なサドルポイント問題に再定式化することで、最初の段階の回帰を必要とせず、構造的因果関数を直接推定できる、非線形インストゥルメンタル変数回帰手法であるDualIVを提案する。この手法は再生ヒルバート空間におけるカーネル法を用い、理論的保証と競争力のある経験的性能を達成する。

ABSTRACT

We present a novel algorithm for non-linear instrumental variable (IV) regression, DualIV, which simplifies traditional two-stage methods via a dual formulation. Inspired by problems in stochastic programming, we show that two-stage procedures for non-linear IV regression can be reformulated as a convex-concave saddle-point problem. Our formulation enables us to circumvent the first-stage regression which is a potential bottleneck in real-world applications. We develop a simple kernel-based algorithm with an analytic solution based on this formulation. Empirical results show that we are competitive to existing, more complicated algorithms for non-linear instrumental variable regression.

研究の動機と目的

• 従来の2段階IV手法が非線形設定において抱える限界、特に最初の段階の回帰誤差に敏感である点を是正すること。
• 最初の段階の回帰に起因する計算的・統計的ボトル neck を回避し、一貫性のある非線形IV推定手法を開発すること。
• 確率的プログラミングにインspiredされた理論的裏付けのある凸凹最適化フレームワークを提供すること。
• RKHSにおける解析的解を可能にするカーネル法を用いて、実用的かつスケーラブルな推定を実現すること。

提案手法

• 双対性を活用して、非線形IV回帰を凸凹なサドルポイント問題に再定式化し、最初の段階の回帰を回避する。
• 関数空間上の最適化により、構造的因果関数 $ f $ を直接推定する双対定式化を採用する。
• 未知の構造的関数および条件付き期待値を表現するために、再生ヒルベルト空間（RKHS）を用いる。
• カーネル化された共分散および共通分散作用素を用いて解析的解を導出する。正則化された経験的リスクを最小化する。
• 安定性と収束を保証するため、2つのハイパーパrameter $ \lambda_1 $ および $ \lambda_2 $ を用いたチホノフ正則化を適用する。
• 正則性条件の下で、RKHSノルムにおける推定量の一貫性を確立し、収束速度が $ \lambda_1 $, $ \lambda_2 $, および標本サイズ $ n $ に依存することを示す。

実験結果

リサーチクエスチョン

• RQ1 最初の段階の回帰を回避し、構造的関数の直接推定を可能にする2段階IV回帰の双対定式化を導出できるか？
• RQ2 構造的モデルと低次元モデルの双対性をどのように活用して、凸凹最適化問題を構築できるか？
• RQ3 非線形かつ非パラメトリックな設定下で、RKHSにおける推定量の一貫性を保証する条件は何か？
• RQ4 提案手法であるDualIVの推定精度とロバストネスは、既存の非線形IV手法と比較してどのように異なるか？
• RQ5 カーネルベースのDualIV推定量の理論的収束速度は何か？また、ハイパーパrameterはその一貫性にどのように影響するか？

主な発見

• 適切な正則化および標本サイズの条件下で、DualIV手法はRKHSノルムにおいて構造的因果関数 $ f $ の一貫性のある推定を達成する。
• $ \lambda_1, \lambda_2 \to 0 $ かつ $ 1/(\lambda_1^2\lambda_2^2\sqrt{n}) \to 0 $ を満たす限り、推定量は $ \mathcal{O}(1/\lambda_1^2\lambda_2^2\sqrt{n}) $ の速度で真の関数に収束する。
• 経験的結果から、DualIVは非線形IV回帰のより複雑な既存のアルゴリズムと同等の性能を示す。
• 最初の段階の回帰のボトル neck を回避し、直接双対最適化問題を解くことで、ロバストネスとスケーラビリティが向上する。
• 理論的分析により、推定量の一貫性が確認され、作用素ノルムの上限と経験的共分散作用素の $ \sqrt{n} $ 一貫性を通じて収束が確立されている。
• カーネルベースの定式化により、解析的解が可能となり、処理とアウトカムの関係が線形であると仮定しない非パラメトリック推定が可能になる。