[论文解读] Building Machines that Learn and Think for Themselves: Commentary on Lake et al., Behavioral and Brain Sciences, 2017

Matthew Botvinick, David G. T. Barrett+17 more|arXiv (Cornell University)|Nov 22, 2017

Reinforcement Learning in Robotics参考文献 23被引用 5

一句话总结

本文评论主张开发能够自主学习并构建自身内部模型的AI智能体，最大限度减少人工工程干预，强调基于模型的推理与自监督学习。文章指出元学习、世界模型学习以及分层强化学习方面的进展，认为自主性对于超越预设形式化模型、应对现实世界复杂性的规模化发展至关重要。

ABSTRACT

We agree with Lake and colleagues on their list of key ingredients for building humanlike intelligence, including the idea that model-based reasoning is essential. However, we favor an approach that centers on one additional ingredient: autonomy. In particular, we aim toward agents that can both build and exploit their own internal models, with minimal human hand-engineering. We believe an approach centered on autonomous learning has the greatest chance of success as we scale toward real-world complexity, tackling domains for which ready-made formal models are not available. Here we survey several important examples of the progress that has been made toward building autonomous agents with humanlike abilities, and highlight some outstanding challenges.

研究动机与目标

• 通过强调模型构建的自主性，推动人工智能向人类水平的学习与推理发展。
• 通过使智能体能够独立学习并利用内部表征，减少对人工设计模型的依赖。
• 应对现实世界复杂性，其中形式化模型无法获取或难以设计。
• 综述自主学习系统方面的进展，包括元学习、世界模型学习以及分层强化学习。
• 识别在将自主智能体扩展至具备鲁棒性与泛化能力的智能方面面临的关键挑战。

提出的方法

• 利用元学习（少样本学习）实现智能体在少量数据下快速适应新任务。
• 通过预测性世界模型实现世界模型学习，以模拟未来状态与结果。
• 采用分层强化学习将复杂任务分解为可管理的子目标与抽象策略。
• 整合自监督学习，从非结构化感官数据中提取结构化表征。
• 设计能够通过交互与经验生成并优化内部模型的智能体。
• 应用可微神经网络与可微世界模型，实现自主推理系统端到端训练。

实验结果

研究问题

• RQ1 AI智能体如何在无需大量人工监督的情况下自主构建并优化内部模型？
• RQ2 哪些机制使智能体能够从少量样本泛化到全新的未见任务？
• RQ3 在复杂环境中，如何端到端学习分层与组合式推理？
• RQ4 预测性世界建模在实现自主、目标导向行为中发挥何种作用？
• RQ5 在高复杂性与高不确定性的真实世界领域中，自主学习的可扩展性面临哪些关键限制？

主要发现

• 元学习方法使智能体能够从少量样本中泛化，展现出类人水平的少样本学习能力。
• 世界模型学习使智能体能够在稀疏奖励环境中模拟未来状态并有效规划。
• 分层强化学习使智能体能够将复杂任务分解为子目标，提升样本效率与可扩展性。
• 在原始感官数据上训练的自监督世界模型可捕捉结构化、解耦的表征，有助于推理与规划。
• 采用端到端可微模型训练的自主智能体在复杂动态环境中展现出更强的鲁棒性与适应性。
• 尽管已取得进展，但在缺乏形式化模型的真实世界领域中，实现可靠且泛化的推理仍面临重大挑战。