[논문 리뷰] Deep Learning for Individual Heterogeneity

Max H. Farrell, Tengyuan Liang외 1명|arXiv (Cornell University)|2020. 10. 28.

Monetary Policy and Economic Impact참고 문헌 49인용 수 7

한 줄 요약

이 논문은 경제 모델의 모수를 관측 가능한 공변량에 대한 민감한 비모수 함수로 재정의함으로써 개인 간 이질성을 포착하면서도 해석 가능성과 구조적 통합성을 유지하는 딥러닝 프레임워크를 제안한다. 이 프레임워크는 수동 유도가 필요 없는 새로운 자동 영향 함수 계산을 통해 타당한 추론을 가능하게 하며, 치료 효과에서 다중 선택, 생산 함수에 이르기까지 다양한 모델을 다루며 증명 가능한 일致성 수렴 속도를 보인다.

ABSTRACT

This paper integrates deep neural networks (DNNs) into structural economic models to increase flexibility and capture rich heterogeneity while preserving interpretability. Economic structure and machine learning are complements in empirical modeling, not substitutes: DNNs provide the capacity to learn complex, non-linear heterogeneity patterns, while the structural model ensures the estimates remain interpretable and suitable for decision making and policy analysis. We start with a standard parametric structural model and then enrich its parameters into fully flexible functions of observables, which are estimated using a particular DNN architecture whose structure reflects the economic model. We illustrate our framework by studying demand estimation in consumer choice. We show that by enriching a standard demand model we can capture rich heterogeneity, and further, exploit this heterogeneity to create a personalized pricing strategy. This type of optimization is not possible without economic structure, but cannot be heterogeneous without machine learning. Finally, we provide theoretical justification of each step in our proposed methodology. We first establish non-asymptotic bounds and convergence rates of our structural deep learning approach. Next, a novel and quite general influence function calculation allows for feasible inference via double machine learning in a wide variety of contexts. These results may be of interest in many other contexts, as they generalize prior work.

연구 동기 및 목표

• 기계 학습의 유연성과 고전적 경제 모델의 해석 가능성 및 구조를 결합하는 방법론을 개발하는 것.
• 개인 특성에 따라 변하는 완전히 비모수적 모수 함수의 추정과 추론을 가능하게 하여 풍부한 이질성을 포착하는 것.
• 수동 영향 함수 유도가 필요 없는 일반 목적의 추론 프레임워크를 제공하여, 어떤 매끄러운 손실 함수와 제2단계의 관심 파라미터에도 적용 가능하게 하는 것.
• 딥러닝을 예측을 넘어서 경제적 구조를 네트워크 아키텍처에 통합함으로써 추정 성능 향상과 해석 가능성 향상을 이루는 것.
• 자동 미분를 통해 유도된 새로운 수직 점수 함수를 사용하여 약한 정규성 조건 하에서도 타당한 추론을 보장하는 것.

제안 방법

• 고정된 모수를 공변량에 대한 비모수 함수로 대체함으로써 경제 모델의 전통적 구조를 유지하면서도 민감한 이질성을 허용하는 방식으로 고전적 경제 모델을 재구성하는 것.
• 경제 모델의 전반적 구조를 반영하는 딥 네ural 네트워크 아키텍처를 설계하여 해석 가능성 향상과 더 나은 수렴 속도 확보하는 것.
• 현대 최적화 및 표현 학습 기법을 활용하여 데이터로부터 모수 함수 θ₀(x)를 딥러닝으로 추정하는 것.
• 자동 미분를 사용하여 제2단계 추론을 위한 새로운 수직 영향 함수를 도출함으로써 수동 유도 없이 타당한 추론을 가능하게 하는 것.
• 자동 미분를 통해 영향 함수를 직접 데이터에 적용하여 연구자가 원래 모델과 관심 파라미터만 지정하면 되도록 하는 것.
• 첫 번째 단계 추정기의 미세한 변동에 민감하지 않은 점수 함수를 구성함으로써 네이먼 수직성(orthogonality)을 확보하여 강인성 확보하는 것.

실험 결과

연구 질문

• RQ1 딥러닝을 어떻게 활용하여 경제 모델에서 해석 가능성과 구조를 유지하면서도 민감한 비모수적 모수 함수를 추정할 수 있는가?
• RQ2 이 프레임워크에서 딥러닝을 사용할 경우 모수 함수의 수렴 속도는 어떻게 되는가?
• RQ3 수동 유도 없이 다양한 모델에 걸쳐 타당한 추론을 가능하게 하는 일반 목적의 영향 함수를 유도할 수 있는가?
• RQ4 제안된 프레임워크는 예측을 넘어서 구조적 모델링과 정책 관련 추론을 지원하는 데 어떻게 확장될 수 있는가?
• RQ5 이 프레임워크는 고차원 치료 변수나 형태 제약 조건을 처리하기 위해 어떻게 변형될 수 있는가?

주요 결과

• 제안된 딥러닝 아키텍처는 경제 모델의 전반적 형태와 네트워크 구조를 일치시킴으로써 모수 함수 θ₀(x) 추정의 수렴 속도를 향상시킨다.
• 단일하고 재사용 가능한 영향 함수를 통해 평균 치료 효과, 가격 수요 반응성, 지불 의사 용이도, 수익 측정치 등 제2단계의 관심 파라미터에 대해 타당한 추론이 가능하다.
• 영향 함수는 자동 미분를 통해 자동으로 계산되며, 수동 유도가 필요 없고 즉시 적용 가능한 추론이 가능하다.
• 이 방법은 이진 및 다중 선택, 분수 결과, 카운트 데이터, 이질적 생산 함수를 포함한 광범위한 모델 클래스에 적용 가능하다.
• 대규모 단기 대출 광고 실험을 통해 복잡한 데이터를 성공적으로 처리하였으며, 경제적으로 의미 있고 신뢰할 수 있는 추정치를 도출하였다.
• 이론적 결과는 영향 함수가 네이먼 수직성을 만족함을 입증하여, 미약한 조건 하에서도 첫 번째 단계 추정 오차에 대해 강인함을 보장한다.