[논문 리뷰] Circuit Complexity of Hierarchical Knowledge Tracing and Implications for Log-Precision Transformers

Naiming Liu, Richard Baraniuk외 1명|arXiv (Cornell University)|2026. 03. 25.

Advanced Graph Neural Networks인용 수 0

한 줄 요약

이 논문은 회로 복잡성의 계층적 선행조건 전파를 분석하여 깊은 개념 계층에서 로그 정밀도 트랜스포머가 무엇을 계산할 수 있는지 이해하고, 이론적 장애물과 구조 인식 감독이 계층 계산 회복에 도움을 준다는 것을 실험적으로 보여준다.

ABSTRACT

Knowledge tracing models mastery over interconnected concepts, often organized by prerequisites. We analyze hierarchical prerequisite propagation through a circuit-complexity lens to clarify what is provable about transformer-style computation on deep concept hierarchies. Using recent results that log-precision transformers lie in logspace-uniform $\mathsf{TC}^0$, we formalize prerequisite-tree tasks including recursive-majority mastery propagation. Unconditionally, recursive-majority propagation lies in $\mathsf{NC}^1$ via $O(\log n)$-depth bounded-fanin circuits, while separating it from uniform $\mathsf{TC}^0$ would require major progress on open lower bounds. Under a monotonicity restriction, we obtain an unconditional barrier: alternating ALL/ANY prerequisite trees yield a strict depth hierarchy for \emph{monotone} threshold circuits. Empirically, transformer encoders trained on recursive-majority trees converge to permutation-invariant shortcuts; explicit structure alone does not prevent this, but auxiliary supervision on intermediate subtrees elicits structure-dependent computation and achieves near-perfect accuracy at depths 3--4. These findings motivate structure-aware objectives and iterative mechanisms for prerequisite-sensitive knowledge tracing on deep hierarchies.

연구 동기 및 목표

• 자연스러운 숙달 규칙 하에서 균형 개념 트리에서 선행조건 전파를 형식화한다.
• 계층적 지식 추적 과제에 대한 무조건적 계산 상한 및 장벽을 결정한다.
• 계층적 선행 조건 추론을 회로 복잡성과 트랜스포머 한계와 연결한다.
• 표준 트랜스포머가 계층적 선행 조건 전파를 학습하는지 아니면 단축 상관관계에 의존하는지 경험적으로 평가한다.
• 선행 조건에 민감한 KT 모델에서 구조 인지 목적 및 반복 메커니즘에 대한 지침을 제시한다.]
• method:["잎을 입력 숙달 비트로, 내부 노드는 자식들의 MAJ_k를 계산하는 선행조건 트리를 정의한다.","깊이 d = Θ(log n)이고 고정된 k를 갖는 덕분에 KT_MAJ가 NC^1에 속함을 보인다.","단조 ALL/ANY 선행 규칙을 논의하고 단조 임계 회로에 대한 깊이 계층 구조 결과를 도출한다.","KT_MAJ를 logspace-균일 TC^0에 연결하고 로그-정밀도 트랜스포머에 대한 시사점을 논의한다.","재귀-다수 트리에 대한 트랜스포머 인코더의 실증 실험을 수행하여 구조 의존 계산을 학습하는지, 아니면 순열 불변 단축에 의존하는지 평가한다.","명시적 계층 구조와 중간 목표를 촉진하는 구조 발판(수준 태깅 입력 및 보조 하위 트리 감독)을 도입하여 계층적 전파를 촉진하는지 테스트한다."]
• research_questions:[

제안 방법

실험 결과

연구 질문

• RQ1 균형 트리에서 재귀적 다수 선행 조건 전파가 NC^1 내에서 계산될 수 있으며 균일 TC^0와 분리될 수 있는가?
• RQ2 로그-정밀도 트랜스포머가 본질적으로 계층적 선행 조건 전파를 계산하지 못하는가, 아니면 구조 감독하에 학습할 수 있는가?
• RQ3 계층적 구조를 명시적으로 만들고 중간 감독을 추가하면 트랜스포머에서 구조 의존 계산이 가능해지는가?
• RQ4 계층적 선행 추론을 표현하는 단조 임계 회로 모델의 한계는 무엇이며, 이것이 트랜스포머 능력에 어떤 시사점을 주는가?
• RQ5 트랜스포머의 실증적 동작이 계층적 지식 추적 과제에 대한 이론적 회로 복잡성 경계와 어떻게 일치하는가?

주요 결과

깊이	잎들	트랜스포머	MLP (합계)	오라클
3	27	79.7	80.0	100.0
4	81	75.8	75.7	100.0
5	243	70.7	70.6	100.0
6	729	68.4	68.3	100.0

• 고정된 k를 갖는 균형 k-ary 트리에 대한 KT_MAJ는 NC^1에 속하지만 TC^0와의 분리는 열려 있다.
• 교대 ALL/ANY 선행 구조는 단조 임계 회로에서 엄격한 깊이 계층을 유발하여 단조성 하의 얕은 계산에 대한 저항을 나타낸다.
• 루트 전용 감독 하에서 트랜스포머는 잎 합을 추적하는 순열-불변 단축을 학습하고 정확한 계층 전파 대신 그것을 따른다.
• 보조 감독이 있는 명시적 하위 트리 경계는 깊이 3–4에서 거의 완벽한 계층 전파를 가능하게 하여 적절한 학습 신호로 구조 의존 계산이 가능함을 보여준다.
• 깊은 깊이(예: 깊이 6)에서조차 고정 용량과 학습 예산 하에도 도구극적 모델은 어려움을 겪을 수 있어 긴 선행 사슬에 대한 현재 아키텍처의 한계를 강조한다.