[논문 리뷰] Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach

Luofeng Liao, You-Lin Chen외 4명|arXiv (Cornell University)|2020. 07. 02.

Model Reduction and Neural Networks참고 문헌 52인용 수 4

한 줄 요약

이 논문은 선형 연산자 방정식의 해를 두 개의 신경망 간의 최소최대 게임으로 포지셔닝하여, 구조적 방정식 모델(SEM)에 대한 증명 가능하게 효율적인 추정을 위한 새로운 적대적 신경망 프레임워크를 제안한다. 오버파라미터라이제이션 하에서 확률적 경사 하강법을 사용해 전역 수렴성을 확립하며, 샘플 분할 없이도 증명 가능하게 수렴하는 SEM에 대한 첫 번째 신경망 추정 방법을 달성하며, 일致성과 수렴 속도에 대한 이론적 보장을 제공한다.

ABSTRACT

Structural equation models (SEMs) are widely used in sciences, ranging from economics to psychology, to uncover causal relationships underlying a complex system under consideration and estimate structural parameters of interest. We study estimation in a class of generalized SEMs where the object of interest is defined as the solution to a linear operator equation. We formulate the linear operator equation as a min-max game, where both players are parameterized by neural networks (NNs), and learn the parameters of these neural networks using the stochastic gradient descent. We consider both 2-layer and multi-layer NNs with ReLU activation functions and prove global convergence in an overparametrized regime, where the number of neurons is diverging. The results are established using techniques from online learning and local linearization of NNs, and improve in several aspects the current state-of-the-art. For the first time we provide a tractable estimation procedure for SEMs based on NNs with provable convergence and without the need for sample splitting.

연구 동기 및 목표

• 샘플 분할을 피하고 수렴성을 보장하는 일반화된 구조적 방정식 모델(SEM)을 위한 신경망 기반 추정 방법을 개발한다.
• 기존 신경망 접근법에서 SEM 추정에 대한 이론적 수렴 보장을 부족하게 하는 문제를 해결한다.
• 딥 러닝을 활용해 실용적이고 표현력 있으며 증명 가능하게 효율적인 SEM 추정 절차를 제공한다.
• 인과 추론과 경제학 모델링의 응용을 통합하고 확장한다. 비모수적 IV 회귀 및 동적 패널 모델을 포함한다.
• 오버파라미터라이제이션 설정 하에서 두 층과 깊은 ReLU 신경망에 대한 이론적 수렴 속도를 확립한다.

제안 방법

• SEM 추정 문제를 원자성 플레이어가 구조 함수를 학습하고 쌍대 플레이어가 조건부 기대값 연산자를 학습하는 최소최대 게임으로 포지셔닝한다.
• ReLU 활성화 함수를 사용하는 두 개의 별도된 신경망(NN)으로 양 플레이어를 파arameter화한다.
• 두 NN의 파라미터를 엔드 투 엔드 방식으로 동시에 최적화하기 위해 확률적 경사 하강법(SGD)을 사용한다.
• 오버파라미터라이제이션 영역에서 수렴성을 분석하기 위해 온라인 학습 기법과 신경망 선형화 기법을 적용한다.
• 근사 오차와 일반화를 균형 잡기 위해 티호노프 유형의 페널티를 적용한 정규화된 경험 손실 함수를 도입한다.
• 쌍대 공간이 시험 함수의 유한차원 스트레칭으로 제약될 경우, 최소최대 포지셔닝과 일반화된 모멘트 방법(GMM) 간의 등가성을 확립한다.

실험 결과

연구 질문

• RQ1 샘플 분할이 필요 없이 전역 수렴성을 달성하는 신경망 기반 추정기로 SEM을 설계할 수 있는가?
• RQ2 오버파라미터라이제이션 영역에서 SEM에 대한 신경망 추정기의 수렴 속도는 어떠한가?
• RQ3 제안된 적대적 포지셔닝은 GMM이나 도구 변수 회귀와 같은 전통적 방법과 어떻게 관련이 있는가?
• RQ4 SEM에서 발생하는 선형 연산자 방정식을 해결할 때 깊은 신경망과 두 층 신경망에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ5 진정한 구조 함수에 대한 어떤 부드러움 조건 하에서 추정기는 일치하는가?

주요 결과

• 제안된 방법은 뉴런 수가 발산하는 오버파라미터라이제이션 영역에서 두 층과 깊은 ReLU 신경망 모두 전역 수렴성을 확보한다.
• 알려진 구조 함수에 대한 적절한 부드러움 조건 하에서 추정기의 수렴 속도가 확립되며, 네트워크 너비와 반복 횟수에 명시적인 의존성을 보인다.
• 샘플 분할 없이도 증명 가능하게 수렴하는 SEM에 대한 첫 번째 신경망 추정 방법을 제공하며, 최근의 연구들이 통계적 일치성을 확보하기 위해 샘플 분할을 의존하는 것보다 향상된 성능을 보인다.
• 쌍대 공간이 유한차원 함수 공간으로 제약될 경우 최소최대 포지셔닝이 가중치 GMM 추정기와 등가임을 입증한다.
• 이론적 분석은 신경망 선형화와 온라인 학습 기법을 활용해 최적화 오차를 제한하고 진짜 해로 일반화할 수 있도록 한다.
• 실험적 검증을 통해 비모수적 IV 회귀, 수요-공급 균형, 동적 패널 데이터 모델과 같은 핵심 경제학 및 인과 추론 모델에의 적용 가능성을 입증한다.