[论文解读] Deep Learning for Individual Heterogeneity

Max H. Farrell, Tengyuan Liang+1 more|arXiv (Cornell University)|Oct 28, 2020

Monetary Policy and Economic Impact参考文献 49被引用 7

一句话总结

本文提出一种深度学习框架，将经济模型参数重新定义为可观测协变量的灵活非参数函数，以捕捉个体异质性，同时保持可解释性和结构完整性。该框架通过一种新颖的自动影响函数计算方法实现有效推断，无需人工推导，适用于从处理效应到多项选择及生产函数等多种模型，并具备可证明的一致收敛速率。

ABSTRACT

This paper integrates deep neural networks (DNNs) into structural economic models to increase flexibility and capture rich heterogeneity while preserving interpretability. Economic structure and machine learning are complements in empirical modeling, not substitutes: DNNs provide the capacity to learn complex, non-linear heterogeneity patterns, while the structural model ensures the estimates remain interpretable and suitable for decision making and policy analysis. We start with a standard parametric structural model and then enrich its parameters into fully flexible functions of observables, which are estimated using a particular DNN architecture whose structure reflects the economic model. We illustrate our framework by studying demand estimation in consumer choice. We show that by enriching a standard demand model we can capture rich heterogeneity, and further, exploit this heterogeneity to create a personalized pricing strategy. This type of optimization is not possible without economic structure, but cannot be heterogeneous without machine learning. Finally, we provide theoretical justification of each step in our proposed methodology. We first establish non-asymptotic bounds and convergence rates of our structural deep learning approach. Next, a novel and quite general influence function calculation allows for feasible inference via double machine learning in a wide variety of contexts. These results may be of interest in many other contexts, as they generalize prior work.

研究动机与目标

• 开发一种结合机器学习灵活性与经典经济模型可解释性和结构性的方法论。
• 实现基于个体特征变化的完全非参数参数函数的估计与推断，以捕捉丰富的异质性。
• 提供一种通用推断框架，适用于任意平滑损失函数和第二阶段感兴趣的参数，无需人工推导影响函数。
• 将深度学习的应用从预测扩展至结构建模，通过将经济结构嵌入网络架构以提升估计精度与可解释性。
• 通过利用自动微分推导出的新正交得分函数，在弱正则性条件下确保有效推断。

提出的方法

• 通过用协变量的非参数函数替代经典经济模型中的固定参数，实现灵活性与经济结构的并存。
• 设计一种深度神经网络架构，与经济模型的全局结构相匹配，确保可解释性并提升收敛速率。
• 利用深度学习从数据中估计参数函数 θ₀(x)，并借助现代优化与表征学习技术。
• 通过自动微分推导出用于第二步推断的新型正交影响函数，实现无需人工推导的有效推断。
• 直接使用自动微分将影响函数应用于数据，研究者仅需指定原始模型和感兴趣的参数。
• 通过构建对第一步估计器微小扰动不敏感的得分函数，实现Neyman正交性，确保稳健性。

实验结果

研究问题

• RQ1 如何利用深度学习在保持可解释性与结构完整性的同时，估计经济模型中灵活的非参数参数函数？
• RQ2 在该框架中使用深度学习估计参数函数时，其收敛速率如何？
• RQ3 能否推导出一种通用影响函数，实现在无需人工推导的前提下，对多种模型实现有效推断？
• RQ4 所提出的框架如何超越预测功能，支持结构建模与政策相关推断？
• RQ5 该框架在处理高维处理变量或形状约束方面，可通过何种方式实现适应？

主要发现

• 所提出的深度学习架构通过将网络结构与经济模型的全局形式对齐，实现了对参数函数 θ₀(x) 估计的更优收敛速率。
• 该框架通过单一、可复用的影响函数，实现了对任意第二阶段感兴趣参数（如平均处理效应、价格弹性、支付意愿与剩余衡量）的有效推断。
• 影响函数通过自动微分自动计算，消除了人工推导的需要，实现即插即用的推断。
• 该方法适用于广泛模型类别，包括二值选择、多项选择、分数结果、计数数据以及异质性生产函数。
• 框架在复杂数据上表现良好，如在一项大规模短期贷款广告实验中，成功获得经济上合理且可靠的估计结果。
• 理论结果表明，影响函数满足Neyman正交性，确保在弱条件下对第一步估计误差具有稳健性。