[논문 리뷰] Abrupt and spontaneous strategy switches emerge in simple regularised neural networks

Anika T. Löwe, Léo Touzo외 4명|arXiv (Cornell University)|2023. 02. 22.

Neural dynamics and brain function인용 수 6

한 줄 요약

이 논문은 갑작스럽고 통찰처럼 느껴지는 전략 전환—갑작스러운 성능 향상, 선택적 발생, 변동성이 있는 지연을 특징으로 하는 것—이 점진적인 확률적 경사하강법을 통해 최소한의 정규화된 신경망에서 자연스럽게 발생할 수 있음을 보여준다. 이 메커니즘은 가중치 갱신의 노이즈와 L1-정규화된 게이팅에 기인하며, 이는 '침묵한 지식'을 억제하다가 갑작스럽게 해제되면서 급격한 성능 향상을 가능하게 한다. 이는 특수한 인지 메커니즘을 요구하지 않으며 인간의 통찰을 모방한다.

ABSTRACT

Humans sometimes have an insight that leads to a sudden and drastic performance improvement on the task they are working on. Sudden strategy adaptations are often linked to insights, considered to be a unique aspect of human cognition tied to complex processes such as creativity or meta-cognitive reasoning. Here, we take a learning perspective and ask whether insight-like behaviour can occur in simple artificial neural networks, even when the models only learn to form input-output associations through gradual gradient descent. We compared learning dynamics in humans and regularised neural networks in a perceptual decision task that included a hidden regularity to solve the task more efficiently. Our results show that only some humans discover this regularity, whose behaviour was marked by a sudden and abrupt strategy switch that reflects an aha-moment. Notably, we find that simple neural networks with a gradual learning rule and a constant learning rate closely mimicked behavioural characteristics of human insight-like switches, exhibiting delay of insight, suddenness and selective occurrence in only some networks. Analyses of network architectures and learning dynamics revealed that insight-like behaviour crucially depended on a regularised gating mechanism and noise added to gradient updates, which allowed the networks to accumulate "silent knowledge" that is initially suppressed by regularised (attentional) gating. This suggests that insight-like behaviour can arise naturally from gradual learning in simple neural networks, where it reflects the combined influences of noise, gating and regularisation.

연구 동기 및 목표

• 통찰처럼 느껴지는 행동이 일반적으로 별개의 인지 현상으로 여겨지지만, 순수하게 점진적인 학습 과정에서 인공 신경망에서 발생할 수 있는지 조사하기 위해.
• 최소한의 정규화된 신경망이 인간의 통찰 행동의 핵심적 특성인 갑작스러움, 선택성, 변동성이 있는 지연을 재현할 수 있는지 확인하기 위해.
• 노이즈, 정규화, 게이팅 메커니즘이 명시적인 재구성 또는 메타인지 과정 없이 급격한 전략 전환을 가능하게 하는 데서 수행하는 역할을 탐색하기 위해.
• 초기에는 주의 집중 게이팅에 의해 억제되지만 功能적인 표현이 되는 '침묵한 지식'이 지연 후에 활성화될 경우 갑작스러운 성능 향상이 일어날 수 있는지 테스트하기 위해.

제안 방법

• 두 입력 노드, 하나의 출력 노드, 각 입력에 대해 곱셈 게이팅을 갖는 최소한의 신경망을 사용하여, 게이팅에 L1 정규화를 적용한 확률적 경사하강법으로 학습시켰다.
• 노이즈를 경사 갱신에 통합하여 확률적 성질을 구현하고, 잠재 표현의 탐색을 가능하게 하였다.
• 신경망은 최적의 성능을 내기 위해 색상 기반 규칙을 활용하는 숨겨진 규칙을 학습하였다.
• 성능 경로에 시그모이드 함수를 피팅하고 급격한 굴절점(전환점)을 식별하여 통찰 유사 전환을 탐지하였다.
• 참가자의 자가 보고와 모델 기반 분류를 활용하여 인간에서의 통찰 탐지 정합성을 검증하였으며, 동일한 방법을 신경망에 적용하였다.
• 베이지안 정보 기준(BIC)과 보호된 초과 확률을 사용하여 모델 적합도를 비교(선형, 단계, 시그모이드)하였으며, 갑작스러운 전이를 잘 묘사하는 데서 시그모이드 모델이 유의미하게 우월함을 확인하였다.

Figure 1: Stimuli, task design and insight classification procedure (A) Stimuli and stimulus-response mapping: dot clouds were either coloured in orange or purple and moved to one of the four directions NW, NE, SE, SW with varying coherence. A left response key, "X", corresponded to the NW/SE motion

실험 결과

연구 질문

• RQ1 표준 확률적 경사하강법으로 학습된 단순 신경망에서 갑작스러움, 선택성, 지연을 특징으로 하는 통찰 유사 행동이 발생할 수 있는가?
• RQ2 노이즈, 정규화, 게이팅 메커니즘이 명시적인 재구성 없이 급격한 전략 전환을 가능하게 하는 데서 수행하는 역할은 무엇인가?
• RQ3 '침묵한 지식'(초기에는 억제되지만 功能적인 표현)의 증거가 있는가? 이는 지연 후에만 활성화된다.
• RQ4 최소한의 신경망의 학습 역학은 인간의 통찰 행동과 비교해 정량적·정성적으로 어떻게 다른가?

주요 결과

• L1-정규화된 최소한의 아키텍처(두 입력, 하나의 출력, 게이팅 가중치)를 갖는 신경망은 갑작스럽고 선택적이며 지연이 있는 통찰 유사 전략 전환을 보였으며, 인간의 행동 패tern을 그대로 반영하였다.
• 시그모이드 모델은 인간과 신경망 양쪽에서 성능 경로에 대해 가장 우수한 적합도를 보였으며, 보호된 초과 확률을 통해 선형 및 단계 모델보다 강력한 선호도를 보였다.
• 통찰 유사 전환 이전에 '침묵한 지식'—기능적이지만 억제된 표현—이 존재했으며, 이는 경사 갱신의 노이즈로 인한 확률적 해제로 인해 활성화되었다.
• 경사 갱신의 노이즈는 필수적이었다: 정규화가 있더라도 노이즈가 없으면 통찰 유사 전환은 발생하지 않았다.
• 통찰 유사 행동을 보이는 네트워크의 비율은 선택적이었으며(모든 네트워크가 전환하지는 않음), 전환 시점의 다양성은 인간에서 관찰된 변동성이 있는 지연을 반영하였다.
• 모델이 식별한 통찰 주관자와 인간 참가자들이 색상 규칙을 사용한다고 자가 보고한 경우 사이에 79.6%의 겹침이 있었으며, 이는 탐지 방법의 정합성을 검증하는 데 기여하였다.

Figure 2: Humans: task performance and insight-like strategy switches (A) Accuracy (% correct) during the motion phase increases with increasing motion coherence. N = 99, error bars signify standard error of the mean (SEM). (B) Accuracy (% correct) over the course of the experiment for all motion co