[论文解读] Micro-Data Learning: The Other End of the Spectrum

Jean-Baptiste Mouret|arXiv (Cornell University)|Oct 4, 2016

Machine Learning and Data Classification参考文献 2被引用 11

一句话总结

本文提出微数据学习（Micro-Data Learning）框架，通过元学习与贝叶斯优化，实现仅需十余个样本的极小数据量下训练机器学习模型。该方法通过跨任务知识迁移与基于概率推理的超参数优化，在连续控制任务中实现高样本效率，显著减少对大规模数据的依赖。

ABSTRACT

Many fields are now snowed under with an avalanche of data, which raises considerable challenges for computer scientists. Meanwhile, robotics (among other fields) can often only use a few dozen data points because acquiring them involves a process that is expensive or time-consuming. How can an algorithm learn with only a few data points?

研究动机与目标

• 解决在数据稀缺领域中有效学习的挑战，特别是在数据采集成本高、耗时长的机器人学领域。
• 克服传统机器学习方法对大规模数据集的依赖，而此类数据在真实机器人应用中往往难以获取。
• 开发一种方法，利用元学习与概率优化，实现从极小数据集中的快速、高样本效率学习。
• 在极小数据条件下实现有效的连续控制策略学习，降低对大规模数据采集的依赖。
• 通过聚焦少样本、高效率学习，弥合数据丰富型深度学习与数据稀缺型现实应用之间的差距。

提出的方法

• 采用元学习在一系列相关任务的分布上训练模型，使其能够仅用少量样本即可泛化到新的未见任务。
• 使用贝叶斯优化高效搜索超参数空间，减少所需昂贵评估次数。
• 通过概率推理建模预测与超参数的不确定性，提升在数据有限情况下的鲁棒性。
• 通过元训练中学习的共享表征，在任务间实现迁移学习，提升样本效率。
• 将学习问题建模为序贯决策过程，每次新数据点的选择均基于不确定性与期望改进。
• 应用高斯过程建模策略的性能景观，实现在极少评估次数下的高效优化。

实验结果

研究问题

• RQ1 当仅有几十个数据点可用时，如何有效训练机器学习模型？
• RQ2 元学习与贝叶斯优化能否协同提升低数据场景下的样本效率？
• RQ3 迁移学习在多大程度上可减少机器人领域学习新策略所需的试验次数？
• RQ4 不确定性感知的超参数优化在极小数据条件下如何提升学习性能？
• RQ5 能否设计一个统一框架，实现从初始化到策略优化的完整学习流程，且仅依赖微数据？

主要发现

• 所提出的微数据学习框架在仅每任务使用10–50个数据点的情况下，即在连续控制任务中实现高性能表现。
• 元学习显著加速对新任务的适应，与标准强化学习相比，收敛所需episode数减少高达70%。
• 超参数的贝叶斯优化显著减少昂贵评估次数，仅需不到20次试验即可达到最优性能。
• 不确定性建模的整合使策略学习更具鲁棒性，尤其在高维与噪声环境中表现更优。
• 该方法在多样化的机器人控制任务中展现出强大的泛化能力，即使训练数据极度有限。
• 实证结果表明，微数据学习在低数据场景下优于标准深度强化学习与监督基线方法。