[논문 리뷰] On Emergences of Non-Classical Statistical Characteristics in Classical Neural Networks

Hanyu Zhao, Yang Wu외 1명|arXiv (Cornell University)|2026. 02. 27.

Advanced Thermodynamics and Statistical Mechanics인용 수 0

한 줄 요약

논문은 다중 작업 학습에서의 그래디언트 경쟁으로 비고전적 CHSH 통계를 나타내는 고전적 신경망 NCnet를 소개하며, 특정 용량 regime에서 S가 가끔 고전 경계치를 넘어가고 일반화와 상관관계가 있다.

ABSTRACT

Inspired by measurement incompatibility and Bell-family inequalities in quantum mechanics, we propose the Non-Classical Network (NCnet), a simple classical neural architecture that stably exhibits non-classical statistical behaviors under typical and interpretable experimental setups. We find non-classicality, measured by the $S$ statistic of CHSH inequality, arises from gradient competitions of hidden-layer neurons shared by multi-tasks. Remarkably, even without physical links supporting explicit communication, one task head can implicitly sense the training task of other task heads via local loss oscillations, leading to non-local correlations in their training outcomes. Specifically, in the low-resource regime, the value of $S$ increases gradually with increasing resources and approaches toward its classical upper-bound 2, which implies that underfitting is alleviated with resources increase. As the model nears the critical scale required for adequate performance, $S$ may temporarily exceed 2. As resources continue to grow, $S$ then asymptotically decays down to and fluctuates around 2. Empirically, when model capacity is insufficient, $S$ is positively correlated with generalization performance, and the regime where $S$ first approaches $2$ often corresponding to good generalization. Overall, our results suggest that non-classical statistics can provide a novel perspective for understanding internal interactions and training dynamics of deep networks.

연구 동기 및 목표

• 신경망 내부 상호작용을 분석하기 위한 측정 불일치(mesurement-incompatibility) 관점을 제시한다.
• 다중 작업 설정에서 비고전적 통계Behavior를 나타낼 수 있는 간단한 고전적 구조(NCnet)를 제안한다.
• CHSH 통계를 사용해 비고전적 상관관계를 정량화하고 모델 용량 및 학습 다이내믹스에 따른 의존성을 연구한다.
• 공유 표현들 간의 그래디언트 경쟁이 비국소적 상관을 어떻게 유발하는지에 대한 기작적 통찰을 제공한다.
• CHSH 기반 진단이 실제 모델의 표현 용량과 일반화 이해에 얼마나 관련이 있는지 탐구한다.

제안 방법

• NCnet를 다중 작업 설정을 반영하는 두 개의 작업별 헤드를 가진 공유 은닉층 구조로 정의한다.
• Alice의 쪽과 Bob의 쪽에서 작업을 형식화하여 CHSH A_i, B_j 출력으로 매핑하고 C(A_i,B_j)을 계산한다.
• CHSH 통계 S = C(A1,B1) + C(A1,B2) + C(A2,B1) - C(A2,B2)를 계산하고 고전 경계 2 및 Tsirelson 경계 ~2.828과 비교한다.
• 제한된 XORnet에서 영감된 설정에서 은닉층 크기 n( n=2,3,4 )에 따라 S가 어떻게 달라지는지 조사한다.
• 현실 세계 아키텍처(Multilingual BERT 및 LoRA를 포함한 BERT)와 다중 작업 데이터셋에서 비고전적 동작을 실험적으로 검증한다.

실험 결과

연구 질문

• RQ1 고전적 신경망이 CHSH 테스트의 벨 유형 위반과 유사한 비고전적 통계 상관관계를 보일 수 있는가?
• RQ2 작업 구조와 공유 표현이 그래디언트 경쟁 하에서 CHSH 위반에 어떻게 기여하는가?
• RQ3 모델 용량(은닉 유닛 수 또는 LoRA 차원)이 CHSH 통계와 학습 다이내믹스에 어떤 영향을 미치는가?
• RQ4 다중 작업 학습에서 비고전성은 일반화 성능과 관련이 있으며 실제 모델에서도 지속되는가?
• RQ5 CHSH 기반 진단이 신경망의 내부 결합 및 용량 분석에 보조 도구로서 활용될 수 있는가?

주요 결과

• S가 NCnet의 특정 은닉유닛 수에서 고전 경계 2를 넘을 수 있어 비고전적 상관을 시사한다.
• CHSH 통계 S는 임계 용량(예: NCnet 설정의 n=3) 근처에서 정점을 찍은 뒤 용량이 더 커지면 2로 수렴한다.
• 비고전성은 공유 매개변수로 인한 그래디언트 경쟁에 의해 좌우되며 명시적 의사소통 채널에 의해 좌우되지 않는다.
• LoRA를 활용한 실제와 같은 실험에서 다국어 학습에서 용량이 커질수록 S가 증가하나 작업의 난이도 균형에 따라 혼합 작업에서 2를 넘을 수 있다.
• 일반화는 낮은-중간 용량 영역에서 S와 양의 상관을 보이며 S가 2에 가까워지는 거의 최적 용량과 일치한다.
• S가 2를 넘는 것은 이 설정에서 비고전성의 충분조건이며 신경망의 진단 도구로 CHSH의 더 넓은 활용 가능성을 시사한다.