[论文解读] Introduction to Latent Variable Energy-Based Models: A Path Towards Autonomous Machine Intelligence

Anna Dawid, Yann LeCun|arXiv (Cornell University)|Jun 5, 2023

Topic Modeling被引用 6

一句话总结

本文提出潜在变量能量模型（LVEBM）作为实现自主机器智能的基础框架，引入分层联合嵌入预测架构（H-JEPA），以实现自监督的世界模型学习。通过将能量模型与结构化潜在变量相结合，H-JEPA 实现了对复杂世界状态的高效、泛化性强且具备不确定性感知的预测，为实现人类水平的人工智能铺平了道路，且监督需求极低。

ABSTRACT

Current automated systems have crucial limitations that need to be addressed before artificial intelligence can reach human-like levels and bring new technological revolutions. Among others, our societies still lack Level 5 self-driving cars, domestic robots, and virtual assistants that learn reliable world models, reason, and plan complex action sequences. In these notes, we summarize the main ideas behind the architecture of autonomous intelligence of the future proposed by Yann LeCun. In particular, we introduce energy-based and latent variable models and combine their advantages in the building block of LeCun's proposal, that is, in the hierarchical joint embedding predictive architecture (H-JEPA).

研究动机与目标

• 解决当前机器学习系统在实现人类水平泛化与自主性方面的局限性。
• 提出一种基于自监督学习与世界模型预测的新范式，以实现自主智能。
• 将能量模型与潜在变量相结合，以实现鲁棒且结构化的表征学习。
• 开发一种可扩展的分层架构（H-JEPA），支持长时程推理与规划。
• 使模型能够以极少数据学习可靠的世界模型，实现复杂动作序列的推理与规划。

提出的方法

• 使用能量模型（EBM）通过能量函数定义非归一化概率分布，实现对复杂数据分布的灵活建模。
• 通过在隐藏变量上进行边缘化，引入潜在变量能量模型（LVEBM），使模型能够捕捉抽象且解耦的表征。
• 采用分层联合嵌入预测架构（H-JEPA），在多个抽象层次上联合预测未来状态与潜在表征。
• 应用对比学习与正则化训练方法以优化能量函数，使正确预测的能量最小化，错误预测的能量最大化。
• 使用方差-不变性-协方差正则化（VICReg）以稳定训练过程，并提升自监督学习中的表征质量。
• 通过吉布斯分布将能量转化为概率，通过对潜在变量进行边缘化，推导出条件分布与联合分布。

Figure 1: The modular structure of an autonomous AI proposed by LeCun in Ref. [ 6 ] . Drawings generated by DALL-E 2 [ 12 ] .

实验结果

研究问题

• RQ1 如何将潜在变量引入能量模型，以提升表征学习与泛化能力？
• RQ2 何种架构设计能够实现高效、可扩展且分层的世界模型学习，以支持自主智能体？
• RQ3 自监督学习结合能量模型如何支持可靠的不确定性估计与长时程推理？
• RQ4 在复杂环境中，学习结构化潜在表征时，最有效的训练目标与正则化技术是什么？
• RQ5 H-JEPA 框架能否使自主系统在极少监督下学习并规划复杂动作序列？

主要发现

• H-JEPA 框架实现了分层世界模型的自监督学习，支持长时程预测与规划。
• 潜在变量能量模型可生成结构化、解耦的表征，提升泛化能力与不确定性估计性能。
• 对比学习与正则化训练方法稳定了学习过程，并提升了下游任务的性能。
• 结合潜在变量的能量函数可实现对复杂数据分布的灵活、可微分建模。
• 对潜在变量进行边缘化使模型能够推导出有意义的条件概率，构成推理与预测的基础。
• 该框架支持迁移学习与新任务的快速适应，而无需大量重训练，表现出类人般的样本效率。

Figure 2: \Acf SSL. (a) In SSL , the system is trained to predict hidden parts of the input (in orange) from visible parts of the input (in blue). (b) \Ac SSL will play a central role in the future AI systems. SSL is the cake (provides millions of information bits per sample), SL is the icing (10-10