[论文解读] Eluder Dimension and Generalized Rank.

Gene Li, Pritish Kamath+2 more|arXiv (Cornell University)|Apr 14, 2021

Machine Learning and Algorithms参考文献 18被引用 4

一句话总结

本文研究了在单调激活函数 $σ$ 下，eluder 维度与广义秩之间的关系，表明当 $σ$ 的导数远离零时，eluder 维度可能比 $σ$-秩小指数级，但当 $σ$ 为 ReLU 时，eluder 维度也可能比 $σ$-秩大指数级，从而证明了导数条件的必要性。

ABSTRACT

We study the relationship between the eluder dimension for a function class and a generalized notion of rank, defined for any monotone activation $\sigma : \mathbb{R} o \mathbb{R}$, which corresponds to the minimal dimension required to represent the class as a generalized linear model. When $\sigma$ has derivatives bounded away from $0$, it is known that $\sigma$-rank gives rise to an upper bound on eluder dimension for any function class; we show however that eluder dimension can be exponentially smaller than $\sigma$-rank. We also show that the condition on the derivative is necessary; namely, when $\sigma$ is the $\mathrm{relu}$ activation, we show that eluder dimension can be exponentially larger than $\sigma$-rank.

研究动机与目标

• 理解在单调激活函数下，函数类的 eluder 维度与广义秩之间的关系。
• 确定 $σ$ 的导数条件是否为通过 $σ$-秩界定 eluder 维度所必需的。
• 分析激活函数的选择，特别是 ReLU，对 eluder 维度与 $σ$-秩相对大小的影响。
• 在不同激活条件下，建立 eluder 维度与 $σ$-秩之间差距的紧致界。

提出的方法

• 基于在单调激活 $σ$ 下将函数类表示为广义线性模型所需的最小维度，定义一种广义秩，称为 $σ$-秩。
• 证明当 $σ$ 的导数远离零时，$σ$-秩可作为 eluder 维度的上界。
• 构造显式函数类，使得 eluder 维度比 $σ$-秩小指数级，以证明该上界的紧致性。
• 提供一种构造，表明对于 ReLU 激活，eluder 维度可能比 $σ$-秩大指数级，从而证明导数条件的必要性。
• 利用单调激活函数的结构特性和函数类表示的性质，推导出指数级分离。

实验结果

研究问题

• RQ1 对于单调激活 $σ$，函数类的 eluder 维度与其 $σ$-秩之间有何关系？
• RQ2 对于导数不趋于零的激活函数，$σ$-秩对 eluder 维度的上界是否可能指数级松散？
• RQ3 是否必须满足 $σ'$ 远离零的条件，才能使 $σ$-秩作为 eluder 维度的上界？
• RQ4 当 $σ$ 为 ReLU（其导数在定义域一半上为零）时，eluder 维度与 $σ$-秩之间的关系如何？

主要发现

• 当 $σ$ 的导数远离零时，$σ$-秩可作为 eluder 维度的上界。
• 存在某些函数类，其 eluder 维度比 $σ$-秩小指数级，表明该上界并不总是紧致的。
• 对于 ReLU 激活，eluder 维度可能比 $σ$-秩大指数级，证明了导数条件对上界成立的必要性。
• 两个方向上的指数级分离揭示了 eluder 维度与 $σ$-秩之间关系的根本不对称性，具体取决于激活函数。