[论文解读] Harmonizing Program Induction with Rate-Distortion Theory

Hanqi Zhou, Dávid Nagy+1 more|arXiv (Cornell University)|May 8, 2024

Analog and Mixed-Signal Circuit Design被引用 4

一句话总结

该论文通过在速率（程序描述长度）、失真（重建误差）和搜索成本（计算预算）之间引入三重权衡，将速率-失真理论（RDT）与程序归纳相结合。通过音乐学习模拟实验，表明经课程设计的程序库——通过部分信息分解优化以最大化协同效应——相比随机排序，能实现更高效的泛化和资源高效的學習。

ABSTRACT

Many aspects of human learning have been proposed as a process of constructing mental programs: from acquiring symbolic number representations to intuitive theories about the world. In parallel, there is a long-tradition of using information processing to model human cognition through Rate Distortion Theory (RDT). Yet, it is still poorly understood how to apply RDT when mental representations take the form of programs. In this work, we adapt RDT by proposing a three way trade-off among rate (description length), distortion (error), and computational costs (search budget). We use simulations on a melody task to study the implications of this trade-off, and show that constructing a shared program library across tasks provides global benefits. However, this comes at the cost of sensitivity to curricula, which is also characteristic of human learners. Finally, we use methods from partial information decomposition to generate training curricula that induce more effective libraries and better generalization.

研究动机与目标

• 将速率-失真理论（RDT）扩展至内在具有结构且路径依赖的心理程序表征。
• 探究认知资源约束（特别是描述长度和搜索预算）如何影响程序归纳与泛化。
• 探索是否可通过基于信息论协同效应的课程设计，提升程序库开发的效率与效果。
• 建模类人学习行为，如对学习顺序的敏感性以及共享可重用程序组件的出现。

提出的方法

• 提出程序归纳中的三重权衡：速率（R_l，描述长度）、失真（d(X, X̂)，重建误差）和搜索成本（R_s，计算预算）。
• 采用编码器-解码器框架，其中音乐（钢琴卷）通过程序库 𝒮 编码为潜在程序 π，同时对 R_l 和 R_s 施加约束。
• 使用适配器语法（AGs）将程序表示为具有路由器的分层树结构，支持组合泛化与子程序复用。
• 应用部分信息分解（PID）量化程序库中程序之间的协同效应 S(ℒ;X)，定义为超越个体与独特贡献之外的共享信息。
• 设计一种课程策略，选择能最大化未来库协同效应的下一个音乐 X*：X* = argmax_X S(ℒ;X)，其中 ℒ 根据先前库和新输入进行更新。
• 采用术语删除过程以微调速率控制，实现在保持重建保真度的同时对程序描述长度进行精确调节。

实验结果

研究问题

• RQ1 在RDT中引入搜索成本作为约束，如何影响程序归纳与表征学习？
• RQ2 在资源约束下，跨任务构建共享程序库是否能提升程序归纳的泛化效率？
• RQ3 基于协同效应（通过部分信息分解）的课程设计是否相比随机排序，能产生更有效且更具泛化能力的程序库？
• RQ4 受课程顺序塑造的路径依赖学习动态如何影响可重用程序组件的出现？

主要发现

• 所提出的速率、失真与搜索成本之间的三重权衡，相比传统RDT，能实现更高效且更符合认知逻辑的程序归纳。
• 跨任务构建共享程序库可提升泛化性能，因为该库捕捉了跨音乐的可重用结构模式。
• 基于协同效应（S(ℒ;X)）设计的课程相比随机排序显著提升了泛化能力，统计显著性检验结果为：t(999) = 6.219, p < .001。
• 基于协同效应的课程促进了更高效程序库的发展，表现为更强的表征能力与更低的重建误差。
• 该模型对课程顺序表现出敏感性，与人类学习模式一致，即学习序列会影响心理程序构建的效率与结构。
• 术语删除过程实现了对速率的细粒度控制，但在某些约束下可能高估失真，提示在认知合理性方面仍需进一步优化。