[논문 리뷰] Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting

Zeke Xie, Fengxiang He외 4명|arXiv (Cornell University)|2020. 11. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 74인용 수 7

한 줄 요약

이 논문은 인공신경가소성(ANV)을 도입하여 딥러닝의 정확성과 견고성을 향상시키는 새로운 정규화 기법을 제안한다. 신경가소성은 생물학적 신경가소성과 유사하게 설계되었으며, NVRM(Neural Variable Risk Minimization) 프레임워크를 통해 훈련 중에 가중치 변동을 주입함으로써 상호정보량을 암묵적으로 정규화함으로써 과적합, 노이즈 기억, 치명적 기억 상실을 크게 줄이고, 계산 비용은 최소화한다.

ABSTRACT

Deep learning is often criticized by two serious issues which rarely exist in natural nervous systems: overfitting and catastrophic forgetting. It can even memorize randomly labelled data, which has little knowledge behind the instance-label pairs. When a deep network continually learns over time by accommodating new tasks, it usually quickly overwrites the knowledge learned from previous tasks. Referred to as the {\it neural variability}, it is well-known in neuroscience that human brain reactions exhibit substantial variability even in response to the same stimulus. This mechanism balances accuracy and plasticity/flexibility in the motor learning of natural nervous systems. Thus it motivates us to design a similar mechanism named {\it artificial neural variability} (ANV), which helps artificial neural networks learn some advantages from ``natural'' neural networks. We rigorously prove that ANV plays as an implicit regularizer of the mutual information between the training data and the learned model. This result theoretically guarantees ANV a strictly improved generalizability, robustness to label noise, and robustness to catastrophic forgetting. We then devise a {\it neural variable risk minimization} (NVRM) framework and {\it neural variable optimizers} to achieve ANV for conventional network architectures in practice. The empirical studies demonstrate that NVRM can effectively relieve overfitting, label noise memorization, and catastrophic forgetting at negligible costs. \footnote{Code: \url{https://github.com/zeke-xie/artificial-neural-variability-for-deep-learning}.

연구 동기 및 목표

• 생물학적 신경망에서는 드물지만 딥러닝에서는 빈번히 발생하는 과적합과 치명적 기억 상실 문제를 해결한다.
• 인간 뇌에서 관찰되는 신경가소성을 모방함으로써 인공신경망의 일반화 및 견고성을 향상시킬 수 있는지 조사한다.
• 기본적인 딥러닝 아키텍처에 수정 없이도 이론적으로 타당하고 실용적인 방식으로 신경가소성을 통합할 수 있는 방법을 개발한다.
• ANV가 레이블 노이즈 및 가중치 변동에 대해 견고성을 향상시키면서도 연속학습 과제에서 성능을 유지함을 입증한다.

제안 방법

• 생물학적 신경가소성에서 영감을 얻어, 정확성과 적응성의 균형을 이루는 인공신경가소성(ANV)을 제안한다.
• 훈련 데이터와 모델 가중치 간의 상호정보량을 암묵적으로 정규화하는 방식으로 ANV를 수식화하였으며, 이는 일반화 성능 향상에 те오리적으로 입증되었다.
• 실증 위험을 가중치 변동에 대한 기대 손실로 대체하는 NVRM(Neural Variable Risk Minimization) 프레임워크를 설계한다.
• 훈련 중에 확률적 가중치 변동을 적용하는 신경가소성 최적화기(네트워크)를 도입하여 추론 시 신경가소성을 시뮬레이션한다.
• 가우시안, 라플라스, 균일 분포의 세 가지 노이즈 유형을 사용하여 변동을 적용하고, 최적 성능을 위해 하이퍼파ram터 조정을 수행한다.
• NVRM에 디노이징 단계를 도입하여 레이블 노이즈에 대한 견고성을 향상시켰으며, 표준 SGD 및 PSGD보다 노이즈가 많은 환경에서 뛰어난 성능을 보였다.

실험 결과

연구 질문

• RQ1 인공신경가소성(ANV)은 훈련 데이터와 모델 가중치 간의 상호정보량을 암묵적으로 정규화하여 딥러닝 네트워크의 과적합과 치명적 기억 상실을 줄일 수 있는가?
• RQ2 표준 SGD와 비교했을 때 ANV는 레이블 노이즈 및 가중치 변동에 대해 모델의 견고성에 어떤 영향을 미치는가?
• RQ3 다양한 노이즈 유형(Gaussian, Laplace, 균일)이 노이즈가 많은 환경 및 연속학습 시나리오에서 NVRM의 성능에 어떤 영향을 미치는가?
• RQ4 NVRM는 과제별 메모리나 아키텍처 수정 없이도 연속학습에서 치명적 기억 상실을 효과적으로 완화할 수 있는가?
• RQ5 NVRM의 디노이징 메커니즘은 PSGD와 같은 표준 노이즈 주입 방법보다 측정 가능한 이점을 제공하는가?

주요 결과

• ANV는 훈련 데이터와 모델 가중치 간의 상호정보량을 암묵적으로 정규화하는 역할을 하며, 이는 이론적으로 일반화 및 견고성 향상을 보장한다.
• NVRM는 무작위로 레이블이 부여된 데이터의 기억을 크게 줄이며, 비대칭 레이블 노이즈 40% 조건에서 표준 SGD 및 PSGD보다 거의 7%p 높은 성능을 기록한다.
• 가우시안 노이즈를 사용한 NVRM가 가장 높은 테스트 정확도를 기록했으며, 균일 및 라플라스 노이즈 버전보다 약 1%p 높은 성능를 보였지만, 균일 노이즈는 하이퍼파ram터 조정에 더 강건한 것으로 나타났다.
• 퍼미uted MNIST에서의 연속학습 환경에서 NVRM는 EWC의 성능을 향상시켜 기초 과제 정확도와 다섯 개 과제의 평균 정확도를 모두 향상시켰다.
• NVRM의 디노이징 단계는 경험적으로 효과적이며, 표준 노이즈 주입(PSGD) 방식조차도 레이블 기억을 줄일 수 있음을 보여주지만, NVRM는 여전히 그에 비해 뚜렷한 성능 우위를 보였다.
• NVRM는 거의 무시할 수 있는 계산 및 코드 비용으로 모든 이점을 달성하였으며, 기존 모델에 통합하기 위해 단 한 줄의 코드만 추가로 필요로 한다.