[论文解读] Circuit Complexity of Hierarchical Knowledge Tracing and Implications for Log-Precision Transformers

Naiming Liu, Richard Baraniuk+1 more|arXiv (Cornell University)|Mar 25, 2026

Advanced Graph Neural Networks被引用 0

一句话总结

这篇论文通过 circuit complexity 分析分层先决传播，以理解决策层级中的对数精度变换器在深层概念层级上能计算什么，理论障碍与经验测试表明结构感知的监督有助于恢复分层计算。

ABSTRACT

Knowledge tracing models mastery over interconnected concepts, often organized by prerequisites. We analyze hierarchical prerequisite propagation through a circuit-complexity lens to clarify what is provable about transformer-style computation on deep concept hierarchies. Using recent results that log-precision transformers lie in logspace-uniform $\mathsf{TC}^0$, we formalize prerequisite-tree tasks including recursive-majority mastery propagation. Unconditionally, recursive-majority propagation lies in $\mathsf{NC}^1$ via $O(\log n)$-depth bounded-fanin circuits, while separating it from uniform $\mathsf{TC}^0$ would require major progress on open lower bounds. Under a monotonicity restriction, we obtain an unconditional barrier: alternating ALL/ANY prerequisite trees yield a strict depth hierarchy for \emph{monotone} threshold circuits. Empirically, transformer encoders trained on recursive-majority trees converge to permutation-invariant shortcuts; explicit structure alone does not prevent this, but auxiliary supervision on intermediate subtrees elicits structure-dependent computation and achieves near-perfect accuracy at depths 3--4. These findings motivate structure-aware objectives and iterative mechanisms for prerequisite-sensitive knowledge tracing on deep hierarchies.

研究动机与目标

• 在自然掌握规则下，将平衡概念树上的先决传播形式化。
• 确定分层知识追踪任务的无条件计算上界与障碍。
• 将分层先决推理与电路复杂性及变换器的限制联系起来。
• 实证评估标准变换器是否学习分层先决传播，还是依赖捷径相关性。
• 为结构感知目标和在先决敏感KT模型中的迭代机制提供指引。

提出的方法

• 用叶节点表示输入掌握位，内部节点计算其子节点的 MAJ_k。
• 证明 KT_MAJ 由于深度 d = Theta(log n)（固定 k）而处于 NC^1。
• 讨论单调 ALL/ANY 先决规则并推导单调门限电路的深度层次结果。
• 将 KT_MAJ 与 logspace-uniform TC^0 相关联，并讨论对对数精度变换器的影响。
• 在递归多数树上对变换器编码器进行实证实验，以评估它们是学习结构相关计算，还是依赖置换不变的捷径。
• 引入结构支架（分层级输入标记和辅助子树监督）以测试显式层级与中间目标是否能引发分层传播。

实验结果

研究问题

• RQ1 平衡树上的递归多数先决传播是否可以在 NC^1 内计算，并能否与统一 TC^0 分离？
• RQ2 对数精度变换器是否本质上无法计算分层先决传播，还是在结构化监督下可以学习它？
• RQ3 使分层结构显式化并增加中间监督是否使变换器实现结构相关的计算？
• RQ4 单调门限电路模型在表示分层先决推理方面有哪些局限性，这对变换器能力意味着什么？
• RQ5 变换器的经验行为与关于分层知识追踪任务的理论电路复杂性界限的关系如何？

主要发现

Depth	Leaves	Transformer	MLP (sum)	Oracle
3	27	79.7	80.0	100.0
4	81	75.8	75.7	100.0
5	243	70.7	70.6	100.0
6	729	68.4	68.3	100.0

• 平衡 k-叉树、固定 k 的 KT_MAJ 位于 NC^1，但将其与 TC^0 分离仍为未解。
• 交替的 ALL/ANY 先决结构为单调门限电路产生严格的深度层次，表明在单调性下对浅层计算存在抗性。
• 在仅根节点监督下，变换器学习到追踪叶子和的置换不变捷径，而非准确的分层传播。
• 具有辅助监督的显式子树边界能够在深度为 3–4 时驱动接近完美的分层传播，表明在合适的训练信号下可以实现结构相关计算。
• 在更深的深度（如深度 6）时，即使有支架模型，在固定容量和训练预算下也可能表现不佳，凸显当前架构在处理长先决链方面的局限性。