[論文レビュー] Abrupt and spontaneous strategy switches emerge in simple regularised neural networks

Anika T. Löwe, Léo Touzo+4 more|arXiv (Cornell University)|Feb 22, 2023

Neural dynamics and brain function被引用数 6

ひとこと要約

本稿は、突然の、洞察に似た戦略転換——急激なパフォーマンス向上、選択的発現、変動する遅延を特徴とするもの——が、段階的勾配降下を用いた最小限で正則化されたニューラルネットワークにおいて、自発的に生じうることを示している。このメカニズムは、重み更新のノイズとL1正則化付きゲーティングに起因し、『サイレント・ナレッジ』（静黙の知識）が突然解放されることで、急速なパフォーマンス向上が可能になる。これは、特別な認知的メカニズムを必要とせず、人間の洞察と類似した挙動を再現する。

ABSTRACT

Humans sometimes have an insight that leads to a sudden and drastic performance improvement on the task they are working on. Sudden strategy adaptations are often linked to insights, considered to be a unique aspect of human cognition tied to complex processes such as creativity or meta-cognitive reasoning. Here, we take a learning perspective and ask whether insight-like behaviour can occur in simple artificial neural networks, even when the models only learn to form input-output associations through gradual gradient descent. We compared learning dynamics in humans and regularised neural networks in a perceptual decision task that included a hidden regularity to solve the task more efficiently. Our results show that only some humans discover this regularity, whose behaviour was marked by a sudden and abrupt strategy switch that reflects an aha-moment. Notably, we find that simple neural networks with a gradual learning rule and a constant learning rate closely mimicked behavioural characteristics of human insight-like switches, exhibiting delay of insight, suddenness and selective occurrence in only some networks. Analyses of network architectures and learning dynamics revealed that insight-like behaviour crucially depended on a regularised gating mechanism and noise added to gradient updates, which allowed the networks to accumulate "silent knowledge" that is initially suppressed by regularised (attentional) gating. This suggests that insight-like behaviour can arise naturally from gradual learning in simple neural networks, where it reflects the combined influences of noise, gating and regularisation.

研究の動機と目的

• 洞察に似た挙動——通常は特異な認知的現象と見なされるもの——が、純粋に段階的な学習から生じうるかどうかを調査すること。
• 最小限で正則化されたニューラルネットワークが、人間の洞察の核心的な行動的特徴（急激さ、選択的発現、変動する遅延）を再現できるかどうかを特定すること。
• ノイズ、正則化、ゲーティング機構が、明示的な再構築やメタ認知的プロセスなしに、急激な戦略転換を可能にする役割を解明すること。
• 『サイレント・ナレッジ』——最初は注意のゲーティングによって抑制されているが、機能的である——が、遅延後に解放されると、急激なパフォーマンス向上を引き起こす証拠があるかどうかを検証すること。

提案手法

• 入力ノード2つ、出力ノード1つ、各入力に乗法的ゲートを備えた最小限のニューラルネットワークを、ゲートにL1正則化を適用した確率的勾配降下法で学習させた。
• 勾配更新にノイズを注入することで、潜在表現の探索を模擬した。
• ネットワークは、最適なパフォーマンスが色ベースのルールを活用することで達成される隠れた規則性を学習した。
• パフォーマンス軌道にシグモイド関数をフィットさせ、急激な変化点（戦略の急激な採用を示す）を特定することで、洞察に似た転換を検出した。
• 人間の被験者における洞察検出には、自己報告とモデルベース分類を併用し、同じ手法をニューラルネットワークに対しても適用した。
• ベイジアン情報基準（BIC）と保護付き超過確率を用いて、線形モデル、段階モデル、シグモイドモデルの適合度を比較し、急激な遷移を捉えるにはシグモイドモデルが優れていることを示した。

Figure 1: Stimuli, task design and insight classification procedure (A) Stimuli and stimulus-response mapping: dot clouds were either coloured in orange or purple and moved to one of the four directions NW, NE, SE, SW with varying coherence. A left response key, "X", corresponded to the NW/SE motion

実験結果

リサーチクエスチョン

• RQ1 標準的な確率的勾配降下法で学習された単純なニューラルネットワークにおいて、急激さ、選択的発現、遅延を特徴とする洞察に似た挙動が生じうるか？
• RQ2 ノイズ、正則化、ゲーティング機構が、明示的な再構築なしに急激な戦略転換を可能にする役割は何か？
• RQ3 『サイレント・ナレッジ』——抑制されたが機能的である表現——が、遅延後に活性化されることの証拠はあるか？
• RQ4 最小限のニューラルネットワークの学習ダイナミクスは、知覚的意思決定タスクにおける人間の洞察行動と、定量的および定性的にどのように比較できるか？

主な発見

• L1正則化付きの最小限のアーキテクチャ（入力2つ、出力1つ、ゲート付き重み）を持つニューラルネットワークは、急激で選択的かつ遅延のある戦略転換を示し、人間の行動パターンと類似した挙動を示した。
• 両者（人間とネットワーク）のパフォーマンス軌道に対して、シグモイドモデルが最も良い適合度を示し、保護付き超過確率から線形モデルや段階モデルに比べて強く優れていることが示された。
• 洞察に似た転換の前には『サイレント・ナレッジ』——機能的だが抑制された表現——が存在し、勾配更新のノイズによる確率的解放によってのみ活性化された。
• 勾配更新におけるノイズは不可欠であった：ノイズなしでは、正則化があっても洞察に似た転換は発生しなかった。
• 洞察に似た挙動を示すネットワークの割合は選択的（すべてのネットワークが転換したわけではない）であり、転換のタイミングも変動しており、人間が示す変動する遅延と一致した。
• モデルで特定された洞察の対象者と、人間被験者における自己報告による色ルールの使用との重複率は79.6％であり、検出手法の妥当性が裏付けられた。

Figure 2: Humans: task performance and insight-like strategy switches (A) Accuracy (% correct) during the motion phase increases with increasing motion coherence. N = 99, error bars signify standard error of the mean (SEM). (B) Accuracy (% correct) over the course of the experiment for all motion co