[논문 리뷰] Stochastic Gradient Descent-Induced Drift of Representation in a Two-Layer Neural Network

Farhad Pashakhanloo, Alexei A. Koulakov|arXiv (Cornell University)|2023. 02. 06.

Neural dynamics and brain function인용 수 6

한 줄 요약

이 논문은 지속적인 온라인 학습 중에 두 층의 선형 신경망에서 확률적 경사 하강법(SGD)이 표현적 이탈을 어떻게 유도하는지 조사한다. 최소 손실 다양체의 법선 및 탄성 성분으로 파rameter 공간의 동역학을 분해함으로써, 저자들은 은닉층 표현에 대한 확산 계수를 분석적으로 유도하며, 더 자주 제시되는 자극일수록 이탈 속도가 느리다는 것을 보여주며, 이는 피리폼皮질에서의 실험적 관찰과 일치한다.

ABSTRACT

Representational drift refers to over-time changes in neural activation accompanied by a stable task performance. Despite being observed in the brain and in artificial networks, the mechanisms of drift and its implications are not fully understood. Motivated by recent experimental findings of stimulus-dependent drift in the piriform cortex, we use theory and simulations to study this phenomenon in a two-layer linear feedforward network. Specifically, in a continual online learning scenario, we study the drift induced by the noise inherent in the Stochastic Gradient Descent (SGD). By decomposing the learning dynamics into the normal and tangent spaces of the minimum-loss manifold, we show the former corresponds to a finite variance fluctuation, while the latter could be considered as an effective diffusion process on the manifold. We analytically compute the fluctuation and the diffusion coefficients for the stimuli representations in the hidden layer as functions of network parameters and input distribution. Further, consistent with experiments, we show that the drift rate is slower for a more frequently presented stimulus. Overall, our analysis yields a theoretical framework for better understanding of the drift phenomenon in biological and artificial neural networks.

연구 동기 및 목표

• 지속적인 학습의 맥락에서 생물학적 및 인공 신경망의 표현적 이탈 메커니즘을 이해하기 위해.
• 확률적 경사 하강법(SGD)의 노이즈만으로도 피리폼皮질에서 관찰된 바와 같이 자극에 따라 달라지는 이탈을 유도할 수 있는지 조사하기 위해.
• 네트워크 파라미터와 입력 통계량을 바탕으로 이탈 속도를 정량화하는 이론적 프레임워크를 개발하기 위해.
• 수치 시뮬레이션을 통해 모델을 검증하고, 냄새 표현 이탈에 대한 실험 데이터와 결과를 비교하기 위해.

제안 방법

• 온라인 지속적 학습을 위한 L2-정규화가 적용된 평균 제곱오차 손실을 갖는 두 층의 선형 전방향 신경망을 모델링한다.
• 최소 손실 다각형에 대해 파rameter 공간을 법선 및 탄성 부분공간으로 분해한다.
• 탄성 공간에서 SGD의 확률적 동역학을 분석함으로써 다각형 상에서 효과적인 확산 과정을 도출한다.
• 입력 분포와 네트워크 하이퍼파라미터의 함수로 은닉층 표현의 변동성 및 확산 계수에 대한 해석적 표현을 계산한다.
• 손실 표면의 기하학적 분석을 통해 유한 분산 변동성(법선)과 이동 유사한 진동(탄성)을 분리한다.
• 낮은 정규화와 높은 입력 다양성 조건 하에서 점근적 근사를 적용하여 확산 계수를 단순화하고 해석한다.

Figure 1: (left) Neural network model. (right) Manifold of minimum-loss ( $\mathcal{M}$ ) in the parameter space.

실험 결과

연구 질문

• RQ1 SGD에 의한 노이즈만으로도 신경망에서 자극에 따라 달라지는 표현적 이탈을 설명할 수 있는가?
• RQ2 자극 제시 빈도가 표현적 이탈 속도에 어떻게 영향을 미치는가?
• RQ3 네트워크 파라미터, 입력 통계량, 이탈 동역학 사이의 해석적 관계는 무엇인가?
• RQ4 법선 및 탄성 공간의 동역학은 전체 이탈 과정에 어떻게 다르게 기여하는가?

주요 결과

• 은닉층 표현에서의 이탈 속도는 더 자주 제시되는 자극일수록 느리며, 피리폼皮질에서의 실험적 결과와 일치한다.
• 정규화가 작을 경우, 자극 표현에 대한 확산 계수는 입력 신호 강도의 제곱에 반비례한다.
• 자주 제시되는 자극에 대해 이탈 속도는 약 $ \frac{\eta \gamma^2}{s_a^2 s_d} $ 비례한다. 여기서 $ s_a $ 는 자극의 신호 분산이다.
• 모델은 이탈이 최소 손실 다각형 상의 탄성 이동에 의해 주로 결정되며, 법선 변동성은 유한하게 유지된다는 것을 예측한다.
• 입력 통계량과 자극 빈도에 따라 다양한 조건에서 확산 계수에 대한 해석적 표현이 수치 시뮬레이션과 매우 밀접하게 일치한다.
• 이 프레임워크는 해법 다각형 상에서 효과적인 확산이 일어나기 때문에, 지속적인 표현적 이탈가 있음에도 불구하고 안정적인 작업 성능을 유지할 수 있음을 설명한다.

Figure 2: Schematics showing (left) the probability distribution of the fluctuations outside the manifold, (middle) the gradient vectors on and near the manifold, and (right) the tangential component of the gradient.