[论文解读] Convergence Rates for Gaussian Mixtures of Experts

Nhat Ho, Chiao-Yu Yang+1 more|arXiv (Cornell University)|Jul 9, 2019

Bayesian Methods and Mixture Models参考文献 30被引用 13

一句话总结

本文建立了在无协变量门控网络的过参数化高斯混合专家模型中，最大似然估计（MLE）的收敛速率。通过引入专家函数代数独立性的新概念，并借助最优传输理论将其与偏微分方程（PDE）联系起来，作者推导出参数估计的非渐近收敛速率，为一类广泛应用但理论理解不足的模型提供了理论基础。

ABSTRACT

We provide a theoretical treatment of over-specified Gaussian mixtures of experts with covariate-free gating networks. We establish the convergence rates of the maximum likelihood estimation (MLE) for these models. Our proof technique is based on a novel notion of \emph{algebraic independence} of the expert functions. Drawing on optimal transport theory, we establish a connection between the algebraic independence and a certain class of partial differential equations (PDEs). Exploiting this connection allows us to derive convergence rates and minimax lower bounds for parameter estimation.

研究动机与目标

• 为无协变量门控网络的过参数化高斯混合专家模型中的参数估计收敛速率提供理论分析。
• 解决混合专家模型中复杂参数相互作用与非均匀收敛速率的挑战。
• 建立一个新颖的理论框架，将专家函数的代数独立性与 PDE 及最优传输联系起来，用于统计推断。
• 在混合专家模型的简化但具代表性的设置中，建立 MLE 的非渐近收敛速率。
• 为将这些技术扩展到具有协变量依赖门控的完整混合专家模型奠定基础。

提出的方法

• 引入专家函数代数独立性的新概念，以刻画参数空间的结构。
• 通过最优传输理论，建立代数独立性与一类偏微分方程（PDE）之间的联系。
• 利用 PDE 联系，推导出模型空间的覆盖熵与 bracketing 熵的界。
• 应用这些熵界以控制参数空间的复杂性，并推导 MLE 的收敛速率。
• 采用上范数与 L1-范数论证，以有界真实与估计密度之间的距离，利用专家函数的光滑性。
• 通过带包络的网状构造控制 bracketing 熵，从而得到关于 epsilon 的对数界。

实验结果

研究问题

• RQ1 在无协变量门控网络的过参数化高斯混合专家模型中，最大似然估计的收敛速率是什么？
• RQ2 专家函数的代数独立性如何影响模型的统计行为？
• RQ3 最优传输理论能否用于将参数空间的几何性质与 PDE 及统计收敛性联系起来？
• RQ4 参数空间的奇点结构在决定收敛速率中起什么作用？
• RQ5 在具有协变量依赖专家的非 i.i.d. 混合模型中，如何控制覆盖熵与 bracketing 熵？

主要发现

• 本文建立了在无协变量门控网络的过参数化高斯混合专家模型中，参数估计的收敛速率为 $ n^{-1/4} $。
• 该收敛速率通过最优传输将专家函数的代数独立性与一类 PDE 联系起来，从而开辟了一条新颖的理论路径。
• 模型空间的覆盖数被界为 $ c_1 c_2 ig( rac{5}{ u} ig)^k ig( rac{1}{ u} ig)^{(q_1+q_2)k} $，其中 $ u $ 为覆盖半径。
• 通过 $ H_B( u, u) riangleq ext{bracketing entropy} riangleq ext{log}(1/ u) $ 控制 bracketing 熵，从而得到对数界。
• 分析表明，由于模型的奇点结构，收敛速率在不同参数间是非均匀的。
• 结果为过参数化模型提供了理论基础，尽管这些模型在实践中被广泛使用，但缺乏严格的统计保证。