[论文解读] Gigamachine: incremental machine learning on desktop computers
本文提出 Gigamachine，一个基于 R5RS Scheme 作为通用参考机器、并使用随机上下文无关语法（SCFG）引导 Levin 搜索的桌面计算机增量机器学习原型。该系统引入了四种更新算法（其中两种已实现），通过调整生成概率、重用解决方案和发现编程惯用模式来提高学习效率，实验表明在玩具问题上搜索时间与错误率均有所降低。
We present a concrete design for Solomonoff's incremental machine learning system suitable for desktop computers. We use R5RS Scheme and its standard library with a few omissions as the reference machine. We introduce a Levin Search variant based on a stochastic Context Free Grammar together with new update algorithms that use the same grammar as a guiding probability distribution for incremental machine learning. The updates include adjusting production probabilities, re-using previous solutions, learning programming idioms and discovery of frequent subprograms. The issues of extending the a priori probability distribution and bootstrapping are discussed. We have implemented a good portion of the proposed algorithms. Experiments with toy problems show that the update algorithms work as expected.
研究动机与目标
- 设计一个适用于桌面环境的实用系统，以实现 Solomonoff 的增量机器学习框架。
- 解决在通用编程环境中高效生成程序与学习的挑战。
- 开发可实现从训练序列中学习的更新算法，通过重用解决方案与发现常见子程序。
- 评估使用高级语言（如 Scheme）在通用硬件上实现类 AGI 学习的可行性。
提出的方法
- 使用 R5RS Scheme 作为参考通用机器，仅省略极少语法以简化基于语法的程序生成。
- 采用随机上下文无关语法（SCFG）引导 Levin 搜索，为程序候选者分配先验概率。
- 应用最左推导并设置概率时间窗，以限制深度优先搜索，提升效率。
- 引入四种更新算法：生成概率调整、解决方案重用、惯用模式发现与频繁子程序检测。
- 采用最佳优先与内存感知的混合搜索策略，以优化搜索性能。
- 实现一种改进的 LSEARCH 算法，结合 SCFG 引导搜索与每次问题求解后的增量更新。
实验结果
研究问题
- RQ1随机 CFG 是否能有效引导通用语言（如 Scheme）中的增量程序搜索？
- RQ2如何更新生成概率以随时间提升学习效率？
- RQ3先前找到的解决方案在多大程度上可被重用以加速新问题的学习？
- RQ4系统能否在无显式指定的情况下发现常见编程惯用模式与子程序？
- RQ5系统性能在日益复杂的训练序列中如何扩展？
主要发现
- 所实现的更新算法在增量问题中成功降低了搜索时间与错误率，错误率从 97% 降至 88%。
- 在重用先前学习的解决方案后，平方函数仅用 210 次尝试即被找到，相比初始搜索速度提升了约 100 倍。
- 与函数需要 8,413,333 次尝试相比，后续的或非函数仅需 4,275,820 次尝试，表明学习带来的约 30 倍速度提升。
- 阶乘函数虽耗时超过一天才达到第五个示例，但仍生成了部分解决方案，表明系统具备学习复杂递归模式的能力。
- 系统在后期问题中表现出性能提升，表明通过语法更新实现了有效的学习与适应。
- 重用先前解决方案显著加速了学习过程，例如 pow4 函数利用 sqr 解决方案，其求解速度甚至快于 sqr 本身。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。