[論文レビュー] Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach

Luofeng Liao, You-Lin Chen+4 more|arXiv (Cornell University)|Jul 2, 2020

Model Reduction and Neural Networks参考文献 52被引用数 4

ひとこと要約

本稿では、線形作用素方程式の解を2つのニューラルネットワーク間のミニマックスゲームとして定式化することにより、構造方程式モデル（SEMs）の証明可能な効率的推定のための新しい敵対的ニューラルネットワークフレームワークを提案する。過パラメータ化下で確率的勾配降下法を用いることで、グローバル収束を確立し、サンプル分割を必要とせず、一貫性および収束速度に関する理論的保証を伴う、SEMのための最初の証明可能な収束性を持つニューラル推定を達成する。

ABSTRACT

Structural equation models (SEMs) are widely used in sciences, ranging from economics to psychology, to uncover causal relationships underlying a complex system under consideration and estimate structural parameters of interest. We study estimation in a class of generalized SEMs where the object of interest is defined as the solution to a linear operator equation. We formulate the linear operator equation as a min-max game, where both players are parameterized by neural networks (NNs), and learn the parameters of these neural networks using the stochastic gradient descent. We consider both 2-layer and multi-layer NNs with ReLU activation functions and prove global convergence in an overparametrized regime, where the number of neurons is diverging. The results are established using techniques from online learning and local linearization of NNs, and improve in several aspects the current state-of-the-art. For the first time we provide a tractable estimation procedure for SEMs based on NNs with provable convergence and without the need for sample splitting.

研究の動機と目的

• サンプル分割を回避し収束性を保証する、一般化された構造方程式モデル（SEMs）のためのニューラルネットワークベースの推定手法を開発すること。
• 既存のニューラルネットワーク手法によるSEM推定における理論的収束保証の欠如に対処すること。
• 深層学習を用いて、取り扱いやすく表現力があり、証明可能な効率性を持つSEMsの推定手順を提供すること。
• 因果推論と計量経済学の応用を統合・拡張すること。具体的には、非パラメトリックなIV回帰と動的パネルモデルを含む。
• 過パラメータ化設定下での2層および深層ReLUニューラルネットワークの収束速度を理論的に確立すること。

提案手法

• 構造的関数を学習するプレーヤー（プライマル）と条件付き期待値作用素を学習するプレーヤー（デュアル）の間で、ミニマックスゲームとしてSEMs推定問題を定式化する。
• ReLU活性化関数を用いて、2つの独立したニューラルネットワーク（NNs）で両プレーヤーをパラメータ化する。
• 両NNのパラメータをエンドツーエンドの方法で、確率的勾配降下法（SGD）を用いて同時に最適化する。
• 過パラメータ化領域における収束を分析するために、オンライン学習およびニューラルネットワーク線形化の技術を適用する。
• 近似誤差と一般化のバランスを取るために、Tikhonov型のペナルティを用いた正則化された経験的損失関数を導入する。
• 双対空間がテスト関数の有限次元部分空間に制限される場合、ミニマックス定式化と一般化されたモーメント法（GMM）が等価であることを示す。

実験結果

リサーチクエスチョン

• RQ1 サンプル分割を必要とせず、グローバル収束を達成するニューラルネットワークベースの推定量を設計できるか？
• RQ2 過パラメータ化領域におけるSEMsのためのニューラルネットワーク推定量の収束速度は何か？
• RQ3 提案された敵対的定式化は、GMM や道具変数回帰といった古典的手法とどのように関係しているか？
• RQ4 SEMsに由来する線形作用素方程式を解く際、深層および2層ReLUネットワークに対してどのような理論的保証が得られるか？
• RQ5 真の構造的関数にどのような滑らかさの仮定を置けば、推定量が一貫性を示すか？

主な発見

• 提案手法は、ニューロン数が発散する過パラメータ化領域において、2層および深層ReLUニューラルネットワークの両方でグローバル収束を達成する。
• 未知の構造的関数に適切な滑らかさの仮定を置くと、ネットワーク幅と反復回数に明示的な依存関係を持つ収束速度が確立される。
• 本手法は、サンプル分割を必要とせず、一貫性と収束速度の両方を理論的に保証する、SEMのための最初の証明可能な収束性を持つニューラル推定を提供する。これは、最近の研究が統計的整合性を確保するためにサンプル分割に依存しているのを改善する。
• 双対空間が有限次元関数空間に制限される場合、ミニマックス定式化は重み付きGMM推定量と等価であることが示された。
• 理論的分析では、ニューラルネットワーク線形化とオンライン学習の技術を用いて、最適化誤差を抑え、真の解へ一般化することを可能にする。
• 実験的検証により、非パラメトリックなIV回帰、需要・供給均衡、動的パネルデータモデルといった、主要な計量経済学および因果推論モデルへの適用可能性が示された。