[論文レビュー] On Emergences of Non-Classical Statistical Characteristics in Classical Neural Networks

Hanyu Zhao, Yang Wu+1 more|arXiv (Cornell University)|Feb 27, 2026

Advanced Thermodynamics and Statistical Mechanics被引用数 0

ひとこと要約

論文は、勾配競争によって多タスク学習で非古典的CHSH統計を示す古典的ニューラルネットNCnetを紹介し、特定の容量 regimeでSが古典的境界を超えることがあり、一般化と相関することを示します。

ABSTRACT

Inspired by measurement incompatibility and Bell-family inequalities in quantum mechanics, we propose the Non-Classical Network (NCnet), a simple classical neural architecture that stably exhibits non-classical statistical behaviors under typical and interpretable experimental setups. We find non-classicality, measured by the $S$ statistic of CHSH inequality, arises from gradient competitions of hidden-layer neurons shared by multi-tasks. Remarkably, even without physical links supporting explicit communication, one task head can implicitly sense the training task of other task heads via local loss oscillations, leading to non-local correlations in their training outcomes. Specifically, in the low-resource regime, the value of $S$ increases gradually with increasing resources and approaches toward its classical upper-bound 2, which implies that underfitting is alleviated with resources increase. As the model nears the critical scale required for adequate performance, $S$ may temporarily exceed 2. As resources continue to grow, $S$ then asymptotically decays down to and fluctuates around 2. Empirically, when model capacity is insufficient, $S$ is positively correlated with generalization performance, and the regime where $S$ first approaches $2$ often corresponding to good generalization. Overall, our results suggest that non-classical statistics can provide a novel perspective for understanding internal interactions and training dynamics of deep networks.

研究の動機と目的

• neural networks内部の相互作用を分析する測定不整合性の視点を提案する。
• 古典的な単純なアーキテクチャ（NCnet）を提案し、多タスク設定で非古典的統計挙動を示し得ることを示す。
• CHSH統計を用いて非古典的相関を定量化し、モデル容量と訓練ダイナミクスの依存性を研究する。
• 共有表現間の勾配競合が非局所的相関を生み出す機構的洞察を提供する。
• CHSHベースの診断が実世界モデルの表現容量と一般化を理解する上で有用かを探る。

提案手法

• NCnetを2つのタスク特有ヘッドを反映する共有隠れ層アーキテクチャとして定義する。
• Alice側とBob側のタスクをCHSHのA_i, B_j出力に対応させ、C(A_i,B_j)を計算する。
• CHSH統計S = C(A1,B1) + C(A1,B2) + C(A2,B1) - C(A2,B2)を算出し、古典境界2およびTsirelson境界≈2.828と比較する。
• 隠れ層サイズn（n=2,3,4）を制御されたXORnet風の設定でSがどう変化するかを調べる。
• 実世界アーキテクチャ（Multilingual BERTおよびLoRA付きBERT）と多タスクデータセットへ拡張して、実践での非古典的挙動を検証する。

実験結果

リサーチクエスチョン

• RQ1 古典的ニューラルネットワークはCHSHテストでのベル型違反に相当する非古典的統計相関を示すことができるか。
• RQ2 タスク構造と共有表現が勾配競争下でCHSH違反にどう寄与するか。
• RQ3 モデル容量（隠れユニット数やLoRAランク）がCHSH統計と訓練ダイナミクスにどう影響するか。
• RQ4 非古典性は多タスク学習の一般化性能と関連するか、実世界モデルでも持続するか。
• RQ5 CHSHベースの診断はニューラルネットワークの内部結合と容量を分析する補助ツールとして機能するか。

主な発見

• NCnetの特定の隠れユニット数でSが古典境界2を超えることがあり、非古典的相関を示唆する。
• CHSH統計Sは臨界容量付近でピークを迎え（例：NCnet設定のn=3）、容量がさらに増えると2に向かって減衰する。
• 非古典性は共有パラメータによる勾配競争によって生じ、明示的な通信チャネルによるものではない。
• LoRAを用いた実世界風の実験では、多言語訓練下で容量が増加するとSが大きくなり、混合タスクではタスク難易度のバランス次第で2を超える場合がある。
• 一般化は低〜中程度の容量領域でSと正の相関を示し、Sが2に近づくほどほぼ最適容量と一致する。
• Sが2を超えることはこの設定における非古典性の十分条件であり、ニューラルネットワークにおけるCHSHの診断の適用範囲拡大を示唆する。