[论文解读] Active Learning with Multiple Kernels

Song‐Nam Hong, Jeongmin Chae|arXiv (Cornell University)|May 7, 2020

Machine Learning and Algorithms参考文献 33被引用 4

一句话总结

本文提出主动多核学习（AMKL），一种面向在线多核学习的流式主动学习框架，通过智能选择需标注的数据来降低标注成本。通过证明最优次线性遗憾为$\mathcal{O}(\sqrt{T})$，AMKL在大幅减少标签请求的同时确保性能损失最小化，并进一步提出AMKL-AKS实现自适应核选择，通过实时排除无关核来提升效率与准确性。

ABSTRACT

Online multiple kernel learning (OMKL) has provided an attractive performance in nonlinear function learning tasks. Leveraging a random feature approximation, the major drawback of OMKL, known as the curse of dimensionality, has been recently alleviated. In this paper, we introduce a new research problem, termed (stream-based) active multiple kernel learning (AMKL), in which a learner is allowed to label selected data from an oracle according to a selection criterion. This is necessary in many real-world applications as acquiring true labels is costly or time-consuming. We prove that AMKL achieves an optimal sublinear regret, implying that the proposed selection criterion indeed avoids unuseful label-requests. Furthermore, we propose AMKL with an adaptive kernel selection (AMKL-AKS) in which irrelevant kernels can be excluded from a kernel dictionary 'on the fly'. This approach can improve the efficiency of active learning as well as the accuracy of a function approximation. Via numerical tests with various real datasets, it is demonstrated that AMKL-AKS yields a similar or better performance than the best-known OMKL, with a smaller number of labeled data.

研究动机与目标

• 解决现实世界机器学习应用中专家标注数据稀缺且昂贵所带来的高标注成本问题。
• 为在线多核学习（OMKL）开发一种基于流的主动学习框架，以最小化不必要的标签请求。
• 证明所提出的选取准则可实现最优次线性遗憾，确保性能接近完全标注的OMKL。
• 提出自适应核选择（AMKL-AKS），在学习过程中动态排除无关核，以提升效率与准确性。

提出的方法

• 提出主动多核学习（AMKL），作为在线多核学习（OMKL）的流式主动学习扩展，学习者基于基于置信度的准则选择对流入数据进行标注。
• 引入一种选取准则，通过参数$\eta_c$限制未标注带来的损失，确保跳过标签仅导致可控的性能下降。
• 采用随机特征近似以缓解OMKL中的维度灾难，实现在低维空间中的高效在线优化。
• 开发AMKL-AKS，一种自适应核选择机制，基于累积损失从词典中排除无关核，从而提升速度与准确性。
• 利用在线凸优化技术结合遗憾分析，证明当$\eta_c = \mathcal{O}(1/\sqrt{T})$时，AMKL可实现$\mathcal{O}(\sqrt{T})$的次线性遗憾。
• 利用三角不等式与损失函数的凸性，将主动学习者与完全标注的OMKL基线之间的遗憾进行有界控制。

实验结果

研究问题

• RQ1 能否有效将主动学习整合到在线多核学习中，在不牺牲性能的前提下降低标注成本？
• RQ2 AMKL中所提出的选取准则是否能确保跳过流入数据的标注仅导致有界性能损失？
• RQ3 AMKL-AKS中的自适应核选择能否在训练过程中动态排除无关核，以提升学习效率与准确性？
• RQ4 所提出的AMKL框架的理论遗憾界是多少？是否实现了最优次线性遗憾？

主要发现

• 当选择阈值$\eta_c = \mathcal{O}(1/\sqrt{T})$时，AMKL实现了最优次线性遗憾$\mathcal{O}(\sqrt{T})$，证明该方法可避免不必要的标签请求。
• 所提出的选取准则确保未标注流入数据点造成的损失最多为$\eta_c$，在成本与准确性之间实现良好平衡。
• AMKL-AKS在准确性方面优于或匹配现有最佳OMKL方法，同时显著减少所需标注数据量。
• 在真实世界数据集上的数值实验表明，AMKL-AKS在减少标注工作量的前提下，性能与最先进OMKL方法相当或更优。
• AMKL-AKS中的自适应核选择机制可实时成功排除无关核，提升计算效率与模型收敛速度。
• 遗憾分析表明，AMKL与完全标注OMKL基线之间的累积损失差异呈次线性增长，证实了该方法的理论鲁棒性。