[論文レビュー] Adversarial Generalized Method of Moments

Greg Lewis, Vasilis Syrgkanis|arXiv (Cornell University)|Mar 19, 2018

Generative Adversarial Networks and Image Synthesis参考文献 13被引用数 17

ひとこと要約

この論文は、条件付きモーメント制約下でのニューラルネットワーク表現の学習を目的として、モデルラーと悪意ある敵対者との間のゼロサムゲームとしてGMM推定を定式化する、敵対的一般化モーメント法（AGMM）を導入する。敵対的訓練を用いることで、悪意ある敵対者が違反するモーメント条件を特定し、DeepIV や多項式展開付き2SLSといったベースラインと比較して、非パラメトリックなインストゥルメンタル変数回帰の性能が向上する。

ABSTRACT

We provide an approach for learning deep neural net representations of models described via conditional moment restrictions. Conditional moment restrictions are widely used, as they are the language by which social scientists describe the assumptions they make to enable causal inference. We formulate the problem of estimating the underling model as a zero-sum game between a modeler and an adversary and apply adversarial training. Our approach is similar in nature to Generative Adversarial Networks (GAN), though here the modeler is learning a representation of a function that satisfies a continuum of moment conditions and the adversary is identifying violating moments. We outline ways of constructing effective adversaries in practice, including kernels centered by k-means clustering, and random forests. We examine the practical performance of our approach in the setting of non-parametric instrumental variable regression.

研究の動機と目的

• 有限のデータでは無限個の条件付きモーメント制約を課すことが現実的でないため、非パラメトリックGMM推定におけるモーメント条件の選択の課題に対処する。
• モーメント条件の選択をモデル学習プロセスに統合することで、因果推論のための深層ニューラルネットワーク表現の適応的学習を可能にする。
• 高次元または複雑な設定において従来のGMMに見られる限界を、敵対フィードバックを活用してモデル推定を精緻化することで克服する。
• ディープラーニングと計量経済学的モーメント条件制約を組み合わせた、一般化可能な因果推論フレームワークを提供する。
• モデルラーの現在の弱みに応じて動的にモーメント条件を適応させる仕組みを導入することで、非パラメトリックなインストゥルメンタル変数回帰の推定精度を向上させる。

提案手法

• モデルラー（ニューラルネットワークを学習）と悪意ある敵対者（違反するモーメント条件を特定）との間でGMM推定をゼロサムゲームとして定式化する。
• 確率的勾配降下法を用いて両者を同時に訓練し、モデルラーはGMM基準を最小化し、敵対者はそれを最大化する。
• カーネル法（例：k-means中心のガウスカーネル）やランダムフォレストなどのアンサンブルモデルを用いて、効果的な敵対者を構築する。
• 敵対的訓練を活用し、敵対者が特定した最も情報量の多いモーメント制約に基づいて、モデルラーの表現を動的に精緻化する。
• 弱い正則性条件のもとで、一般化を保証する。具体的には、AGMMが有限サンプルで顕著にモーメント条件を破るモデルを同定しないことを理論的に示す。
• 敵対者がカーネルの帯域幅や重みを学習できる柔軟なアーキテクチャを設計する。また、高次元設定ではニューラルネットワークやランダムフォレストを用いる。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練は、非パラメトリックな因果推論の向上を目的としたGMM推定に効果的に適用可能か？
• RQ2 モーメント条件の選択をディープラーニングモデルに統合することで、因果推定の一般化性能とバイアス低減がどのように向上するか？
• RQ3 モデルラーと敵対者との間のゼロサムゲームの定式化は、標準的なGMMやディープラーニングのベースラインと比較して、因果効果の同定に優れているか？
• RQ4 カーネル、ランダムフォレスト、ニューラルネットワークといった異なる敵対者アーキテクチャは、AGMMフレームワークの性能と安定性にどのように影響を与えるか？
• RQ5 AGMMは、非パラメトリックなインストゥルメンタル変数回帰において、DeepIV や多項式展開付き2SLSといった既存手法をどの程度上回るか？

主な発見

• AGMMは、非パラメトリックなインストゥルメンタル変数回帰において、DeepIV や多項式展開付き2SLSを著しく上回る。特に、弱いから中程度のインストゥルメント強度下で顕著な性能向上を示す。
• 10個のインストゥルメントと0.5のインストゥルメント強度の下で、'abs'関数テストにおいてAGMMは平均絶対誤差0.26（95%信頼区間：-0.87～0.74）を達成し、DeepIV（0.53）と2SLS（0.16）を上回った。
• 0.7のインストゥルメント強度の'sigmoid'関数では、AGMMは0.82（95%信頼区間：0.34～0.96）を達成し、DeepIV（0.82）と2SLS（0.88）を上回った。非線形設定下でも優れた性能を示した。
• 0.9のインストゥルメント強度の'linear'関数では、AGMMは0.97（95%信頼区間：0.90～0.99）を達成し、2SLSの最適値1.00に非常に近い性能を示した。
• ステップ関数、sin関数、3次多項式関数といった多様な関数タイプにおいても、AGMMは高い決定係数（例：0.90～0.98）を維持した。一方、2SLS や 2SLSpoly はモデルの誤指定により失敗した。
• 理論的保証により、AGMMが有限サンプルで顕著にモーメント条件を破るモデルを同定しないことから、外挿的一般化性能に優れていることが示された。