[论文解读] Distribution-Independent Evolvability of Linear Threshold Functions

Vitaly Feldman|arXiv (Cornell University)|Mar 25, 2011

Machine Learning and Algorithms参考文献 26被引用 10

一句话总结

本文在Valiant的可演化性模型下证明了合取式无法实现分布无关的可演化性，从而解决了长期存在的开放性问题。文章引入了一个新的组合参数以证明这一负面结果，并进一步表明：具有非可忽略边距的线性阈值函数（LTF）可通过基于良好行为非线性损失函数（如二次损失）的变异算法实现单调可演化性，确保演化过程中性能不会下降。

ABSTRACT

Valiant's (2007) model of evolvability models the evolutionary process of acquiring useful functionality as a restricted form of learning from random examples. Linear threshold functions and their various subclasses, such as conjunctions and decision lists, play a fundamental role in learning theory and hence their evolvability has been the primary focus of research on Valiant's framework (2007). One of the main open problems regarding the model is whether conjunctions are evolvable distribution-independently (Feldman and Valiant, 2008). We show that the answer is negative. Our proof is based on a new combinatorial parameter of a concept class that lower-bounds the complexity of learning from correlations. We contrast the lower bound with a proof that linear threshold functions having a non-negligible margin on the data points are evolvable distribution-independently via a simple mutation algorithm. Our algorithm relies on a non-linear loss function being used to select the hypotheses instead of 0-1 loss in Valiant's (2007) original definition. The proof of evolvability requires that the loss function satisfies several mild conditions that are, for example, satisfied by the quadratic loss function studied in several other works (Michael, 2007; Feldman, 2009; Valiant, 2010). An important property of our evolution algorithm is monotonicity, that is the algorithm guarantees evolvability without any decreases in performance. Previously, monotone evolvability was only shown for conjunctions with quadratic loss (Feldman, 2009) or when the distribution on the domain is severely restricted (Michael, 2007; Feldman, 2009; Kanade et al., 2010)

研究动机与目标

• 解决Valiant可演化性框架中合取式是否可实现分布无关可演化性的开放性问题。
• 引入一个新的组合参数，用于下界估计从相关性中学习的复杂度，从而获得更强的负面结果。
• 证明具有非可忽略边距的线性阈值函数可通过非线性损失函数实现单调可演化性。
• 建立大边距LTF的单调可演化性可实现，且无需施加限制性分布假设。
• 表明使用非线性损失函数可实现单调性能提升，与以往非单调或依赖分布的算法形成对比。

提出的方法

• 引入一个新的组合参数，用于下界估计从相关性中学习的复杂度，用于证明合取式的不可演化性。
• 提出一种变异算法，通过基于输入特征的期望损失导数的梯度式步骤更新假设。
• 采用具有良好行为的损失函数（例如二次损失），其满足弱条件，包括有界二阶导数和可微性。
• 利用泰勒展开和损失对称性，界定每次变异步骤的期望损失下降量，从而证明单调改进。
• 将结果应用于嵌入概念类，通过证明若某类可被高效嵌入到大边距半空间中，则其为单调可演化。
• 通过证明每次更新的损失至少减少 α²·B/2，从而保证性能在每一步都得到提升，其中 α 与特征和损失梯度之间的相关性成正比。

实验结果

研究问题

• RQ1 在Valiant的可演化性模型下，合取式是否可实现分布无关的可演化性？
• RQ2 非线性损失函数能否使线性阈值函数实现单调可演化性？
• RQ3 在可演化性框架中，何种组合参数可作为从相关性中学习复杂度的下界？
• RQ4 是否可在不施加数据分布限制的前提下，实现大边距线性阈值函数的单调可演化性？
• RQ5 能否利用概念类到大边距半空间的高效嵌入，实现单调可演化性？

主要发现

• 合取式无法实现分布无关的可演化性，从而解决了可演化性框架中的一个重大开放性问题。
• 引入了一个新的组合参数，用于下界估计从相关性中学习的复杂度，从而获得更强的负面结果。
• 对于边距至少为 γ ≥ 1/q(n) 的线性阈值函数（其中 q(·) 为某个多项式），可使用任意良好行为的损失函数实现单调可演化性。
• 所提出的变异算法通过确保每次步骤的期望损失至少减少 α²·B/2，从而保证单调性能提升。
• 即使损失函数在不同样本或代际之间变化，只要损失及其导数的边界 a、A、B 保持不变，结果依然成立。
• 概念类可被高效嵌入到大边距半空间，意味着原始类可使用任意良好行为的损失函数实现单调可演化性。