[논문 리뷰] Beyond accuracy: generalization properties of bio-plausible temporal credit assignment rules

Yuhan Helena Liu, Arna Ghosh외 3명|arXiv (Cornell University)|2022. 06. 02.

Advanced Memory and Neural Computing인용 수 7

한 줄 요약

이 논문은 순환 신경망에서 생물학적으로 타당한 시간적 보상 할당 규칙이 정확도를 넘어서 일반화에 미치는 영향을 조사한다. 손실 곡률 분석과 동역학 시스템 이론을 사용하여, 이러한 규칙이 근사 오차와 헤시안 고유벡터 간의 잘못된 정렬으로 인해 더 높은 곡률 영역으로 수렴함으로써 일반화가 열악하고 변동성이 크다는 것을 보여주며, 이는 이 일반화 격차에 대한 이론적 설명과 잠재적 해결책을 제공한다.

ABSTRACT

To unveil how the brain learns, ongoing work seeks biologically-plausible approximations of gradient descent algorithms for training recurrent neural networks (RNNs). Yet, beyond task accuracy, it is unclear if such learning rules converge to solutions that exhibit different levels of generalization than their nonbiologically-plausible counterparts. Leveraging results from deep learning theory based on loss landscape curvature, we ask: how do biologically-plausible gradient approximations affect generalization? We first demonstrate that state-of-the-art biologically-plausible learning rules for training RNNs exhibit worse and more variable generalization performance compared to their machine learning counterparts that follow the true gradient more closely. Next, we verify that such generalization performance is correlated significantly with loss landscape curvature, and we show that biologically-plausible learning rules tend to approach high-curvature regions in synaptic weight space. Using tools from dynamical systems, we derive theoretical arguments and present a theorem explaining this phenomenon. This predicts our numerical results, and explains why biologically-plausible rules lead to worse and more variable generalization properties. Finally, we suggest potential remedies that could be used by the brain to mitigate this effect. To our knowledge, our analysis is the first to identify the reason for this generalization gap between artificial and biologically-plausible learning rules, which can help guide future investigations into how the brain learns solutions that generalize.

연구 동기 및 목표

• 순환 신경망에서 생물학적으로 타당한 시간적 보상 할당 규칙이 진정한 경사 하강법만큼 일반화되는지 여부를 조사하기 위해.
• 손실 곡률과 합성 시냅스 가중치 공간에서의 일반화 성능 간의 관계를 조사하기 위해.
• 생물학적으로 타당하지 않은 대체 규칙에 비해 생물학적으로 타당한 규칙이 왜 열악하고 더 변동성이 큰 일반화를 보이는지 규명하기 위해.
• 이러한 학습 규칙에서 고곡률 해를 선호하는 이유를 설명하는 이론적 프레임워크를 개발하기 위해.
• 뇌 기반 학습 시스템에서 일반화를 향상시키기 위한 생물학적으로 타당한 해결책을 제안하기 위해.

제안 방법

• 기준 RNN 작업에서 최신 생물학적으로 타당한 학습 규칙(예: 대칭 e-prop, RFLO)과 진정한 경사 하강법(BPTT) 간의 일반화 성능와 손실 곡률을 경험적으로 비교하기 위해.
• 수렴한 가중치에서 손실 함수의 헤시안 고유스pektr럼을 측정하여 곡률을 평가하며, 주요 고유값에 중점을 둔다.
• 이산 궤적으로서 가중치 갱신을 모델링하고, 경사 하강법의 정렬과 곡률 선호도를 연결하는 정리를 도출하기 위해 동역학 시스템 분석을 사용하기 위해.
• 근사 오차와 상위 헤시안 고유벡터 간의余弦 유사도를 계산하여 정렬 정도를 정량화하기 위해.
• 일관성 있는 곡률 경향을 검증하기 위해 다양한 최적화기(SGD 및 Adam)와 학습률을 사용하여 실험을 반복하기 위해.
• BPTT를 조기에 정지시켜 생물학적으로 타당한 규칙의 테스트 정확도를 맞추고, 곡률과 일반화 성능을 비교하기 위해.

실험 결과

연구 질문

• RQ1 생물학적으로 타당한 시간적 보상 할당 규칙은 순환 신경망에서 진정한 경사 하강법만큼 일반화되는가?
• RQ2 수렴 시 손실 곡률과 생물학적으로 타당한 학습 규칙의 일반화 성능 간에 상관관계가 있는가?
• RQ3 왜 생물학적으로 타당한 규칙은 시냅스 가중치 공간에서 더 높은 곡률 영역으로 수렴하는가?
• RQ4 경사 하강법과 오차 벡터(근사 오차) 간의 정렬이 평평한가, 날카로운가 최소값으로의 수렴에 어떻게 영향을 주는가?
• RQ5 생물학적으로 타당한 규칙과 진정한 경사 하강법 간의 일반화 격차는 가중치 갱신의 이론적 동역학으로 설명될 수 있는가?

주요 결과

• 최신 생물학적으로 타당한 학습 규칙은 여러 기준 작업에서 진정한 경사 하강법(BPTT)보다 유의미하게 열악하고 변동성이 큰 일반화 성능을 보인다.
• 일반화 격차는 주요 헤시안 고유값과 강하게 상관되며, 높은 고유값은 열악한 일반화를 나타낸다.
• 생물학적으로 타당한 규칙은 BPTT와 비교해 헤시안 고유스펙트럼의 더 급격한 힘 법칙 감쇠를 통해 시냅스 가중치 공간에서 더 높은 곡률 영역으로 수렴함을 입증한다.
• 생물학적으로 타당한 규칙의 근사 오차 벡터는 상위 헤시안 고유벡터와 약한 정렬을 보이며, 이는 평평한 최소값을 피하는 경향을 설명한다.
• 오차 벡터와 헤시안 고유공간 간의 정렬이 열악할 경우 날카롭고 고곡률 최소값으로 수렴한다는 이론적 정리를 유도하였다.
• BPTT를 생물학적으로 타당한 규칙의 테스트 정확도에 맞추기 위해 조기에 정지시켜도, 여전히 더 낮은 곡률과 더 나은 일반화로 수렴함을 확인하여 곡률이 일반화 차이의 핵심 요소임을 입증하였다.