[论文解读] Convergence Rates of Active Learning for Maximum Likelihood Estimation

Kamalika Chaudhuri, Sham M. Kakade+2 more|arXiv (Cornell University)|Jun 8, 2015

Machine Learning and Algorithms参考文献 16被引用 4

一句话总结

本文提出了一种用于广义线性模型（GLMs）中最大似然估计（MLE）的两阶段主动学习算法，在仅比随机采样多一轮交互的前提下，实现了最优收敛速率。该方法基于费舍尔信息量设计选择标准，以最小化期望对数似然误差，证明了紧致的上下界，表明其标签效率接近最优。

ABSTRACT

An active learner is given a class of models, a large set of unlabeled examples, and the ability to interactively query labels of a subset of these examples; the goal of the learner is to learn a model in the class that fits the data well. Previous theoretical work has rigorously characterized label complexity of active learning, but most of this work has focused on the PAC or the agnostic PAC model. In this paper, we shift our attention to a more general setting -- maximum likelihood estimation. Provided certain conditions hold on the model class, we provide a two-stage active learning algorithm for this problem. The conditions we require are fairly general, and cover the widely popular class of Generalized Linear Models, which in turn, include models for binary and multi-class classification, regression, and conditional random fields. We provide an upper bound on the label requirement of our algorithm, and a lower bound that matches it up to lower order terms. Our analysis shows that unlike binary classification in the realizable case, just a single extra round of interaction is sufficient to achieve near-optimal performance in maximum likelihood estimation. On the empirical side, the recent work in ~\cite{Zhang12} and~\cite{Zhang14} (on active linear and logistic regression) shows the promise of this approach.

研究动机与目标

• 开发一种在一般模型类别中用于最大似然估计的理论基础扎实的主动学习算法。
• 分析主动学习在MLE设置下的有限样本标签复杂度，特别是针对GLMs的情形。
• 建立标签需求的上下界，以证明所提方法的最优性。
• 表明在MLE中，仅需在初始随机标注后增加一轮主动采样，即可实现接近最优的性能，这与二分类设置不同。
• 提供一种有原则的样本选择准则，直接优化最小化期望对数似然误差的目标。

提出的方法

• 该算法采用两阶段方法：首先，随机采样少量标签以形成对真实参数 $\theta^*$ 的初始估计 $\theta_1$。
• 在第二阶段，通过优化 $\theta_1$ 处费舍尔信息矩阵的摘要统计量来选择额外样本，特别针对最小化期望对数似然误差。
• 选择准则源自MLE的渐近协方差，确保与学习目标一致。
• 该方法假设模型类满足正则性条件，包括负对数似然的凸性、费舍尔信息量及其导数的有界性。
• 它利用GLMs的结构，其中费舍尔信息量仅依赖于 $x$ 和 $\theta$，从而可广泛适用于回归、二分类/多分类及条件随机场（CRFs）等任务。
• 理论分析通过迹的逆费舍尔信息矩阵来界定期望对数似然误差，从而以样本数量表示收敛速率。

实验结果

研究问题

• RQ1 主动学习能否在一般模型类别中实现最大似然估计的最优收敛速率？
• RQ2 与二分类设置相比，仅一轮主动采样是否足以在MLE中实现接近最优的标签效率？
• RQ3 在有限样本MLE中，何种样本选择准则能最优地最小化期望对数似然误差？
• RQ4 主动MLE的标签需求与理论下界相比如何？
• RQ5 所提方法能否应用于线性回归、逻辑回归和多项式逻辑回归等广泛应用的模型？

主要发现

• 所提两阶段主动学习算法的收敛速率为 $ (1+o(1)) \frac{\mathrm{Tr}(I_{\Gamma^*}(\theta^*)^{-1} I_U(\theta^*))}{m_2} $，与理论下界仅在低阶项上存在差异。
• 对于包括逻辑回归和多项式逻辑回归在内的GLMs，当第一阶段样本数 $ m_1 = \omega(d) $ 时，该方法实现了最优收敛速率，其中 $ d $ 为输入维度。
• 标签复杂度达到最优：任何使用样本选择与MLE的算法都无法比此速率更快收敛，仅在低阶项上存在差异。
• 与PAC模型下二分类情形不同，MLE中仅需一轮额外交互即可实现接近最优性能，表明其在标签效率上存在根本性差异。
• 该方法适用于广泛模型类别，包括线性回归、逻辑回归和条件随机场，得益于对费舍尔信息量依赖关系的一般性假设。
• 分析表明，在标准假设下（如 $ \|\theta^*\|_2 $、$ \|x\|_2 $ 有界，且 $ \Sigma \preceq \frac{C}{d}I $），收敛速率不会随维度 $ d $ 增大而增长，从而保证了可扩展性。