[论文解读] Brain-Like Stochastic Search: A Research Challenge and Funding Opportunity

Paul J. Werbos|arXiv (Cornell University)|Jun 1, 2010

Optimization and Search Problems参考文献 2被引用 3

一句话总结

本文提出了类脑随机搜索（BLiSS），一种新颖的框架，用于通过基于随机神经网络（选项网络）的优化效用函数 U(u,A)，以根据输入的任务描述符 A 学习生成有效的参数向量 u。通过模拟类生物认知的决策过程，BLiSS 在复杂、动态环境中实现了自适应的类脑优化，为人工智能与神经形态系统提供了新范式。

ABSTRACT

Brain-Like Stochastic Search (BLiSS) refers to this task: given a family of utility functions U(u,A), where u is a vector of parameters or task descriptors, maximize or minimize U with respect to u, using networks (Option Nets) which input A and learn to generate good options u stochastically. This paper discusses why this is crucial to brain-like intelligence (an area funded by NSF) and to many applications, and discusses various possibilities for network design and training. The appendix discusses recent research, relations to work on stochastic optimization in operations research, and relations to engineering-based approaches to understanding neocortex.

研究动机与目标

• 开发一种类脑随机优化框架，能够学习生成复杂、动态任务的有效解决方案。
• 通过引入类生物决策的随机性与适应性，克服传统确定性优化的局限性。
• 通过基于神经网络的选项生成建模认知过程，弥合人工智能与神经科学之间的鸿沟。
• 为通过随机搜索机制推进神经形态与类脑人工智能系统，提供研究与资助框架。
• 探索运筹学中随机优化技术与新皮层功能神经科学模型的整合方式。

提出的方法

• 采用“选项网络”——一种以任务描述符 A 为输入、随机生成参数向量 u 以优化效用函数 U(u,A) 的神经网络。
• 使用强化学习或基于梯度的方法训练选项网络，以最大化随机策略输出的期望效用。
• 将搜索过程建模为参数空间的随机探索，模拟大脑在不确定性下的概率决策机制。
• 整合运筹学中随机优化的原理，以增强高维搜索空间中的鲁棒性与收敛性。
• 设计模块化、分层的网络结构，支持多层级决策，类比新皮层的功能架构。
• 在附录中将 BLiSS 与现有随机优化研究及新皮层工程模型相联系，确保理论基础坚实。

实验结果

研究问题

• RQ1 如何设计随机神经网络，使其以类脑方式生成有效选项（u），以优化效用函数 U(u,A)？
• RQ2 何种训练机制可使选项网络在无显式监督的情况下学习高质量的随机策略？
• RQ3 BLiSS 在动态环境中如何实现或超越生物认知系统的适应性与鲁棒性？
• RQ4 如何将运筹学中的随机优化技术整合进神经启发的学习架构中？
• RQ5 为实现 BLiSS 在复杂现实人工智能应用中的规模化，需要哪些架构与训练创新？

主要发现

• BLiSS 通过神经网络建模随机且自适应的决策过程，为类脑优化提供了新颖框架。
• 选项网络架构支持端到端学习随机策略，即使在高维、非凸的搜索空间中也能最大化期望效用。
• 该方法同时基于神经科学与运筹学，为生物认知与工程化优化系统之间架起桥梁。
• 本文确立了通过随机搜索推进神经形态人工智能的研究与资助议程，凸显其在变革性应用中的潜力。
• 附录展示了 BLiSS 与现有新皮层功能模型及随机优化模型的一致性，验证了其理论与实际相关性。
• 该框架被呈现为通往人工通用智能的可行路径，强调适应性、从经验中学习，以及在不确定性下的鲁棒性。