[논문 리뷰] Anatomical Heterogeneity in Transformer Language Models

Tomasz Wietrzykowski|arXiv (Cornell University)|2026. 03. 19.

Machine Learning in Materials Science인용 수 0

한 줄 요약

이 논문은 30-층 SmolLM2-135M 트랜스포머에서 층별 이질성이 강하다는 것을 밝혀내고, 핵심 코어, 안티-레이어, 및 층별 중요도를 활용하여 학습 비용을 줄이고 성능을 향상시키는 Growth Transformer Training 패러다임을 증명합니다.

ABSTRACT

Current transformer language models are trained with uniform computational budgets across all layers, implicitly assuming layer homogeneity. We challenge this assumption through empirical analysis of SmolLM2-135M, a 30-layer, 135M-parameter causal language model, using five diagnostic metrics: weight predictability (R2), ablation degradation, recovery speed, weight manipulation robustness, and structural analysis. We find profound anatomical heterogeneity: (1) Layer weights follow strong mathematical regularity (R2 = 0.91) with a universal oscillatory delta pattern (correlation ~= -0.50), yet predicted weights cause catastrophic failure due to nonlinear error accumulation. (2) Layer importance spans a 10^7 range, from a critical core (L8-11, up to +63,419% PPL degradation) to anti-layers (L14, L17) whose removal improves performance. (3) Recovery speed correlates with layer importance, indicating differential training requirements. (4) Only weight scaling (alpha = 0.9) preserves model quality among five tested manipulation strategies. (5) Growth Transformer Training, allocating budget by layer importance, achieves ~54% cost reduction. A proof-of-concept experiment confirms this: 4.7x lower validation loss than uniform training at identical parameter count, while being 13% faster.

연구 동기 및 목표

• 트랜스포머 층이 기능적으로 서로 교환 가능하게 되는지, 제거(ablation) 후 층별 영향력을 측정하여 평가한다.
• 층 간 가중치 예측 가능성을 릿지 회귀로 평가하고, 압축 가중치 샘플에서의 R^2와 기능적 저하를 분석한다.
• 교란 후 회복 역학을 특성화하여 층별 학습 예산 필요성을 유추한다.
• 안티-레이어와 같은 특이한 층 현상을 식별하고 효과적인 가중치 조작 전략을 평가한다.
• 경험적 층 중요도에 기반한 실용적인 학습 패러다임으로 Growth Transformer Training을 제안하고 검증한다.

제안 방법

• 제거로 악화 및 회복 속도 등 다섯 가지 지표를 포함한 30개 층의 전체 층 중요도 맵을 구성한다.
• 압축된 가중치 샘플에 대해 Ridge 회귀로 가중치 예측 가능성을 평가하고 R^2와 기능적 저하를 비교 분석한다.
• 인접 층 간 delta 상관과 층 간 PCA를 통해 가중치 구조를 분석한다.
• 중복된 층에서 다섯 가지 가중치 조작 전략을 테스트하여 생성 품질의 보존 여부를 평가한다.
• 일정 단계에서의 Uniform baseline과 비교하기 위한 6단계 개발 프로토콜로 Growth Transformer Training의 개념 증명을 수행한다.

실험 결과

연구 질문

• RQ1 트랜스포머 층 간에 차등적 학습 예산을 가능하게 하는 기능적 계층 구조가 존재하는가?
• RQ2 초기 층의 가중치에서 이후 층의 가중치를 예측할 수 있으나 기능적 상호 교환 가능성을 부여하지 않는가?
• RQ3 교란 후 회복 속도에서 층 간 차이가 있어 differential 학습 필요를 시사하는가?
• RQ4 perturbation을 통해 모델 성능을 향상시킬 수 있는 안티-레이어가 존재하는가?
• RQ5 Growth Transformer Training이 손실, 속도, 효율성 측면에서 균일한 학습을 능가하는가?

주요 결과

레이어	악화(%)	범주	기능 역할
L0	0.0	중복	임베딩 경계
L1	+2,737.1	중요한	입력 파서
L2	+186.0	중요한	입력 파서
L3	+13.4	중복	패딩
L4	+22.7	사소한	특징 추출
L5	+8.3	중복	패딩
L6	+9.4	중복	패딩
L7	+20.3	사소한	특징 추출
L8	+2,395.6	핵심	핵심 추론
L9	+378.1	핵심	핵심 추론
L10	+9,870.7	핵심	심층 추론
L11	+63,419.2	핵심	모델 뇌
L12	+6.3	중복	패딩
L13	+24.4	사소한	정제
L14	+5.0	중복	안티-레이어*
L15	+11.1	사소한	정제
L16	+20.3	사소한	정제
L17	-0.6	중복	안티-레이어*
L18	+16.9	사소한	정제
L19	+2.6	중복	패딩
L20	+25.9	사소한	정제
L21	+23.5	사소한	정제
L22	+27.8	사소한	정제
L23	+66.6	중요한	출력 준비
L24	+115.2	핵심	출력 코어
L25	+23.2	사소한	출력 정제
L26	+19.4	사소한	출력 정제
L27	+134.8	핵심	출력 형식화
L28	+211.5	핵심	출력 최종
L29	0.0	중복	LN 헤드 경계

• 층 중요도는 광범위에 걸쳐 있으며, 핵심 코어(L8–L11)와 안티레이어(L14, L17)가 perturbation 시 성능 저하 또는 향상을 초래한다.
• 가중치 예측 가능성의 R^2가 높으며(예: mlp.gate_proj에서 0.909), 예측 가중치를 대입하면 비선형 오차 누적으로 인한 perplexity가 재앙적으로 악화된다.
• 층 간 가중치 변화는 모든 구성 요소에서 대략 -0.50의 미세한 진동 패턴을 따라 나타나 잔여 연결에서 보상 기전을 시사한다.
• 다섯 가지 가중치 조작 전략 중, 중복 층에서 가중치 스케일링 0.9만이 생성 품질을 보존하고, 나머지는 perplexity를 폭발시킨다.
• Growth Transformer Training은 6단계 개발 프로토콜로 동일 단계에서 Uniform 학습보다 검증 손실을 4.7배 낮추고 시범 실험에서 13% 빠르며, 예산의 절반에서 2.1배 낮은 손실을 달성한다.