[论文解读] Global empirical risk minimizers with "shape constraints" are rate optimal in general dimensions

Qiyang Han|arXiv (Cornell University)|May 30, 2019

Statistical Methods and Inference参考文献 41被引用 14

一句话总结

该论文证明，在高维模型中，即使熵积分发散，具有形状约束的全局经验风险最小化器（ERMs）仍能实现最优收敛速率，从而填补了上界与下界之间长期存在的差距。通过利用单调性或凹性等形状约束，作者为可测集上的经验过程推导出匹配的上下界，证明在等倾回归、密度估计和分类等场景中，全局ERMs为极小化极大最优。

ABSTRACT

Entropy integrals are widely used as a powerful tool to obtain upper bounds for the rates of convergence of global empirical risk minimizers (ERMs), in standard settings such as density estimation and regression. The upper bound for the convergence rates thus obtained typically matches the minimax lower bound when the entropy integral converges, but admits a strict gap compared with the lower bound when it diverges. [BM93] provided a striking example showing that such a gap is real with the entropy structure alone: for a variant of the natural Holder class with low regularity, the global ERM actually converges at the rate predicted by the entropy integral that substantially deviates from the lower bound. The counter-example has spawned a long-standing negative position on the use of global ERMs in the regime where the entropy integral diverges, as they are heuristically believed to converge at a sub-optimal rate in a variety of models. The present paper demonstrates that this gap can be closed if the models admit certain degree of `shape constraints' in addition to the entropy structure. In other words, the global ERMs in such `shape-constrained' models will indeed be rate-optimal, matching the lower bound even when the entropy integral diverges. The models with `shape constraints' we investigate include (i) edge estimation with additive and multiplicative errors, (ii) binary classification, (iii) multiple isotonic regression, (iv) $s$-concave density estimation, all in general dimensions when the entropy integral diverges. Here `shape constraints' are interpreted broadly in the sense that the complexity of the underlying models can be essentially captured by the size of the empirical process over certain class of measurable sets, for which matching upper and lower bounds are obtained to facilitate the derivation of sharp convergence rates for the associated global ERMs.

研究动机与目标

• 解决高维模型中全局ERMs的熵积分上界与极小化极大下界之间长期存在的差距问题。
• 挑战一种普遍存在的直觉，即当熵积分发散时，全局ERMs是次优的。
• 证明形状约束（如单调性、凹性或等倾性）可在该类情形下恢复收敛速率的最优性。
• 将不同模型（如等倾回归、s-凹密度估计）的分析统一于基于可测集上经验过程的共同框架下。
• 为形状约束模型中的经验过程建立匹配的上下界，以实现精确的收敛速率分析。

提出的方法

• 作者分析由形状约束诱导的可测集类上经验过程的复杂性，不再仅依赖于熵积分结构。
• 为这些结构化集合上的经验过程上确界推导出匹配的上下界，从而实现精确的速率分析。
• 该方法利用了针对形状约束所施加的几何与序结构量身定制的度量熵与链式技术。
• 该框架适用于一般维度，并可容纳加法与乘法误差模型。
• 它引入了一种新颖的风险分解方法，将形状约束带来的复杂性贡献与标准熵项分离。
• 核心技术创新在于界定了由形状约束定义的集合类的熵，从而实现收敛速率与极小化极大下界的匹配。

实验结果

研究问题

• RQ1 当熵积分发散时，全局经验风险最小化器是否能在高维模型中实现速率最优？
• RQ2 形状约束（如单调性或凹性）是否能弥合全局ERMs在熵积分上界与极小化极大下界之间的差距？
• RQ3 在哪些一般模型类别中（如等倾回归、s-凹密度估计），引入形状约束可恢复速率最优性？
• RQ4 经验过程理论应如何调整，以捕捉超越标准熵结构的形状约束模型的复杂性？
• RQ5 能否为由形状约束定义的可测集上的经验过程推导出匹配的上下界，以确保精确的收敛速率？

主要发现

• 在具有形状约束的模型中，即使熵积分发散，全局ERMs仍能达到极小化极大最优收敛速率。
• 该论文证明，熵积分所预测的速率并非此类模型的下界，且形状约束可使实际极小化极大速率得以匹配。
• 在一般维度下的多重等倾回归中，尽管熵积分发散，全局ERM仍能达到最优收敛速率。
• 在具有加法/乘法误差的s-凹密度估计与边界估计中，全局ERMs在形状约束下为速率最优。
• 该框架为由形状约束定义的可测集上的经验过程提供了精确的上下界，从而实现精确的速率分析。
• 该结果解决了关于全局ERMs在熵积分发散情形下次优性的长期开放问题，表明当存在形状约束时，其本身并非固有次优。