[論文レビュー] Circuit Complexity of Hierarchical Knowledge Tracing and Implications for Log-Precision Transformers

Naiming Liu, Richard Baraniuk+1 more|arXiv (Cornell University)|Mar 25, 2026

Advanced Graph Neural Networks被引用数 0

ひとこと要約

この論文は、回路の複雑さを通じた階層的な前提伝搬を分析し、深い概念階層においてログ精度のトランスフォーマーが何を計算できるかを理解する。理論的障壁と経験的検証は、構造認識的監視が階層的計算の回復を助けることを示す。

ABSTRACT

Knowledge tracing models mastery over interconnected concepts, often organized by prerequisites. We analyze hierarchical prerequisite propagation through a circuit-complexity lens to clarify what is provable about transformer-style computation on deep concept hierarchies. Using recent results that log-precision transformers lie in logspace-uniform $\mathsf{TC}^0$, we formalize prerequisite-tree tasks including recursive-majority mastery propagation. Unconditionally, recursive-majority propagation lies in $\mathsf{NC}^1$ via $O(\log n)$-depth bounded-fanin circuits, while separating it from uniform $\mathsf{TC}^0$ would require major progress on open lower bounds. Under a monotonicity restriction, we obtain an unconditional barrier: alternating ALL/ANY prerequisite trees yield a strict depth hierarchy for \emph{monotone} threshold circuits. Empirically, transformer encoders trained on recursive-majority trees converge to permutation-invariant shortcuts; explicit structure alone does not prevent this, but auxiliary supervision on intermediate subtrees elicits structure-dependent computation and achieves near-perfect accuracy at depths 3--4. These findings motivate structure-aware objectives and iterative mechanisms for prerequisite-sensitive knowledge tracing on deep hierarchies.

研究の動機と目的

• バランスの取れた概念木における自然習熟規則の下で前提伝搬を正式化する。
• 階層的知識追跡タスクの条件無し計算上限と障壁を決定する。
• 階層的前提推論を回路の複雑さとトランスフォーマーの限界に結びつける。
• 標準的なトランスフォーマを用いた場合、階層的前提伝搬を学習するか、ショートカット相関に依存するかを経験的に評価する。
• 前提敏感なKTモデルに対して構造認識的目的と反復的メカニズムの指針を提供する。

提案手法

• 葉を入力習熟度ビットとし、内部ノードが子のMAJ_kを計算する前提木を定義する。
• KT_MAJは深さ d = Theta(log n) で固定 k のもと NC^1 にあることを示す。
• 単調な ALL/ANY 前提規則を議論し、単調閾値回路の深さ階層を導く。
• KT_MAJと logspace-uniform TC^0 との関連を述べ、ログ精度トランスフォーマーへの影響を論じる。
• 再帰的多数決木に対するトランスフォーマーエンコーダの経験的実験を実施し、構造依存の計算を学習するか、置換不変のショートカットに依存するかを評価する。
• 構造スキャフォールディング（レベルタグ付き入力と補助的サブツリー監督）を導入し、明示的階層と中間ターゲットが階層的伝搬を喚起するかをテストする。

実験結果

リサーチクエスチョン

• RQ1 バランス木における再帰的多数決前提伝搬は NC^1 内で計算でき、均一 TC^0 とは分離可能か？
• RQ2 ログ精度トランスフォーマーは本質的に階層的前提伝搬を計算できないのか、それとも構造監督の下で学習可能か？
• RQ3 階層的構造を明示化し中間監督を追加することで、トランスフォーマーに構造依存の計算が可能になるか？
• RQ4 階層的前提推論を表現するための単調閾値回路モデルの限界は何であり、それはトランスフォーマーの能力に何を示唆するか？
• RQ5 トランスフォーマーの経験的挙動は、階層的知識追跡タスクにおける理論的回路複雑性界のどのように整合するか？

主な発見

Depth	Leaves	Transformer	MLP (sum)	Oracle
3	27	79.7	80.0	100.0
4	81	75.8	75.7	100.0
5	243	70.7	70.6	100.0
6	729	68.4	68.3	100.0

• 平衡 k-分枝木上のKT_MAJは固定された k の場合 NC^1 にあるが、TC^0 からの分離は未解決のまま。
• ALL/ANY の前提構造の交互は、単調性の下で浅い計算に対する抵抗を示す階層深度の厳密な階層を生み出す。
• 根のみの監督下では、トランスフォーマーは階層伝搬の正確さより葉の和を追う置換不変ショートカットを学習する。
• 補助的監督を伴うサブツリー境界を明示すると、深さ3–4でほぼ完璧な階層伝搬を推進でき、適切な訓練信号によって構造依存の計算が達成可能であることを示す。
• 深さが深い場合（例：深さ6）でも、固定容量と訓練予算の制約下では scaffolded モデルが苦戦することがあり、長い前提連鎖に対する現在のアーキテクチャの限界を強調する。