[論文レビュー] Instrumental Variable Regression via Kernel Maximum Moment Loss

Rui Zhang, Masaaki Imaizumi+2 more|arXiv (Cornell University)|Oct 15, 2020

Statistical Methods and Inference参考文献 64被引用数 10

ひとこと要約

本稿では、再帰的再生ヒルバート空間（RKHS）におけるカーネル最大モーメント損失を用いて、IV推定を経験的リスク最小化問題に再定式化する、非線形インストゥルメンタル変数（IV）回帰フレームワークMMR-IVを提案する。U/V統計量と正定値カーネルを活用することで、一意な解を有する一貫性・漸近正規性を持つ推定量を達成し、ガウス過程解釈による効率的なハイパーパrameter選択が可能となり、合成および実世界の実験において既存手法を上回る性能を発揮する。

ABSTRACT

We investigate a simple objective for nonlinear instrumental variable (IV) regression based on a kernelized conditional moment restriction (CMR) known as a maximum moment restriction (MMR). The MMR objective is formulated by maximizing the interaction between the residual and the instruments belonging to a unit ball in a reproducing kernel Hilbert space (RKHS). First, it allows us to simplify the IV regression as an empirical risk minimization problem, where the risk functional depends on the reproducing kernel on the instrument and can be estimated by a U-statistic or V-statistic. Second, based on this simplification, we are able to provide the consistency and asymptotic normality results in both parametric and nonparametric settings. Lastly, we provide easy-to-use IV regression algorithms with an efficient hyper-parameter selection procedure. We demonstrate the effectiveness of our algorithms using experiments on both synthetic and real-world data.

研究の動機と目的

• 観測データにおける非線形IV回帰と未観測の交絡要因の課題に対処すること。
• 非線形IV推定における複雑なミニマックス最適化を、安定的で単一ステップの経験的リスク最小化（ERM）問題に簡素化すること。
• RKHSおよびカーネル手法を用いて、パrametricおよび非パラメトリック設定の両方において、一貫性と漸近正規性の理論的保証を確立すること。
• ガウス過程解釈を通じてMMR-IVを解釈することにより、実用的で効率的なハイパーパrameter選択手順を開発すること。
• 既存のIV手法と比較して、合成および実世界のデータセットにおいて優れた性能と頑健性を示すこと。

提案手法

• 再帰的再生ヒルバート空間（RKHS）における残差とインストゥルメントのカーネル化された相互作用を最大化することで、条件付きモーメント制約（CMR）を最大モーメント制約（MMR）目的関数に定式化する。
• カーネルベースのモーメント制約のU統計量またはV統計量推定量を用いて、MMRリスクを経験的リスク最小化（ERM）問題として表現する。
• 正定値カーネルの性質と関数微分技術を用いて、MMR目的関数の閉形式解を導出する。
• 2つのアルゴリズムを提案：カーネル関数を用いるMMR-IV（RKHS）と、柔軟な非線形モデリングのためのニューラルネットワークを用いるMMR-IV（NN）。
• ERM形式をガウス過程尤度にマッピングすることで、効率的で原理的根拠のあるハイパーパrameter選択手法を提案する。
• 関数微分および漸近理論を適用し、ややいびつな正則性および完全性条件の下で推定量の漸近分布を導出する。

実験結果

リサーチクエスチョン

• RQ1 カーネル手法を用いて、非線形IV回帰のための単一ステップの経験的リスク最小化フレームワークを構築できるか？
• RQ2 提案されたMMR-IV手法は、パラメトリックおよび非パラメトリック設定の両方で一貫性と漸近正規性を達成するか？
• RQ3 カーネル関数の選択がMMR-IV推定量の漸近的効率性にどのように影響するか？
• RQ4 ガウス過程解釈を用いて、MMR-IVのための原理的で効率的なハイパーパrameter選択手順を開発できるか？
• RQ5 MMR-IVは、実データおよび合成データにおいて、既存の2段階およびミニマックスベースのIV回帰手法と比較して、性能に優れているか？

主な発見

• MMR-IVフレームワークは、RKHSにおけるカーネル化されたモーメント制約を用いて、複雑なミニマックスIV最適化を安定的で単一ステップのERM問題に変換する。
• カーネル関数の正定値性のおかげで、一意な最小化子が保証され、解の一意性が確保される。
• パラメトリックおよび非パラメトリック設定の両方において、MMR-IV推定量の漸近正規性が確立され、信頼区間や仮説検定などの統計的推論が可能になる。
• 推定量の漸近分散はカーネルの選択に依存し、本稿では異なるカーネル間の効率的トレードオフを導出する。
• ガウス過程尤度としてMMR-IV目的関数を解釈することで、効率的で原理的根拠のあるハイパーパrameter選択スキームを新たに開発した。
• 実験的結果は、MMR-IVが合成および実世界のデータセット（遺伝学的および経済的応用を含む）において、既存手法を上回る精度と頑健性を示している。