[论文解读] Human-like machine learning: limitations and suggestions

Georgios Mastorakis|arXiv (Cornell University)|Nov 14, 2018

Human Pose and Action Recognition参考文献 32被引用 8

一句话总结

本文批判了计算机视觉领域中数据驱动的机器学习方法，认为其对大规模、代表性数据集的依赖限制了泛化能力和鲁棒性。文章提出结合物理知识的仿真方法与自学习方法，使人工智能能够理解数据模式之外的动作，实现类人般的适应能力，而无需大量标注样本。

ABSTRACT

This paper attempts to address the issues of machine learning in its current implementation. It is known that machine learning algorithms require a significant amount of data for training purposes, whereas recent developments in deep learning have increased this requirement dramatically. The performance of an algorithm depends on the quality of data and hence, algorithms are as good as the data they are trained on. Supervised learning is developed based on human learning processes by analysing named (i.e. annotated) objects, scenes and actions. Whether training on large quantities of data (i.e. big data) is the right or the wrong approach, is debatable. The fact is, that training algorithms the same way we learn ourselves, comes with limitations. This paper discusses the issues around applying a human-like approach to train algorithms and the implications of this approach when using limited data. Several current studies involving non-data-driven algorithms and natural examples are also discussed and certain alternative approaches are suggested.

研究动机与目标

• 解决当前数据驱动机器学习在动作识别中的局限性，原因在于数据稀缺性和代表性不足。
• 探究通过数据进行类人学习是否最优，或是否存在性能更优的非数据驱动方法。
• 探索基于仿真的方法与自学习方法，以减少对大规模标注数据集的依赖。
• 研究物理理解（如重力、动力学）在实现鲁棒、可泛化人工智能行为中的作用。
• 提出从人工引导的数据筛选转向自主、具备物理意识、可自我修正的人工智能系统，以推动先进人工智能的发展。

提出的方法

• 使用仿真引擎（如肌骨骼模型、基于物理的模型）生成行走、跌倒等动作的合成训练数据。
• 将物理定律（如重力、质量、姿势）整合到模型中，使行为能反映真实世界动力学，而无需标注样本。
• 采用强化学习结合杆状模型，训练跑步、跳跃等运动行为。
• 提出使用数学仿真而非视频数据，对事件（如物体下落、人体跌倒）进行非数据驱动建模。
• 倡导人工智能系统通过模拟物理交互而非依赖人类示范来学习和自我修正。
• 建议将因果理解（如表面为何打滑）嵌入模型，而非仅从数据中记忆条件。

实验结果

研究问题

• RQ1 机器学习能否在不依赖大规模、多样化、标注数据集的情况下，实现类人般的动作识别鲁棒性？
• RQ2 当前数据驱动方法在遮挡、罕见事件或物理变化下，其泛化能力在多大程度上失效？
• RQ3 基于物理的仿真模型是否能替代或减少在训练人工智能进行动作识别时对真实世界视频数据的依赖？
• RQ4 自学习与自我修正机制（受生物发育启发）在多大程度上可提升人工智能性能，超越人类监督学习？
• RQ5 对物理动力学的因果理解在多大程度上能帮助人工智能超越已观察样本进行泛化？

主要发现

• 当前计算机视觉中的数据驱动方法因数据集有限、缺乏代表性或存在偏差，导致泛化能力差，尤其在遮挡或罕见事件下表现不佳。
• 通过仿真生成的合成数据虽可增加样本数量，但通常无法提升物理行为或复杂场景（如车祸、跌倒）的多样性。
• 基于物理的仿真模型（如肌骨骼模型用于跌倒、双足模型用于行走）已证明非数据驱动动作建模的可行性，但可扩展性仍有限。
• 自学习与自我修正机制（受生物发育启发）在人工智能中仍研究不足，尽管其有潜力减少对人工标注数据的依赖。
• 理解因果物理原理（如重力、表面摩擦）可使人工智能在无先前观察的情况下推断行为，从而提升适应性与泛化能力。
• 将物理知识整合进学习框架，可使人工智能实现行为的自主仿真与修正，长期性能与鲁棒性或优于数据密集型方法。