[논문 리뷰] Critical Learning Periods in Deep Neural Networks

Alessandro Achille, Matteo Rovere외 1명|arXiv (Cornell University)|2017. 11. 24.

Neural Networks and Applications참고 문헌 29인용 수 66

한 줄 요약

본 논문은 심층 신경망이 임시 결손이 성능에 영향을 미치는 임계 학습 기간을 나타내고, 이를 Fisher Information을 통해 두 가지 학습 단계와 정보 가소성을 드러내며, 전이 학습과 표현의 강건성에 대한 시사점을 논의한다.

ABSTRACT

Similar to humans and animals, deep artificial neural networks exhibit critical periods during which a temporary stimulus deficit can impair the development of a skill. The extent of the impairment depends on the onset and length of the deficit window, as in animal models, and on the size of the neural network. Deficits that do not affect low-level statistics, such as vertical flipping of the images, have no lasting effect on performance and can be overcome with further training. To better understand this phenomenon, we use the Fisher Information of the weights to measure the effective connectivity between layers of a network during training. Counterintuitively, information rises rapidly in the early phases of training, and then decreases, preventing redistribution of information resources in a phenomenon we refer to as a loss of "Information Plasticity". Our analysis suggests that the first few epochs are critical for the creation of strong connections that are optimal relative to the input data distribution. Once such strong connections are created, they do not appear to change during additional training. These findings suggest that the initial learning transient, under-scrutinized compared to asymptotic behavior, plays a key role in determining the outcome of the training process. Our findings, combined with recent theoretical results in the literature, also suggest that forgetting (decrease of information in the weights) is critical to achieving invariance and disentanglement in representation learning. Finally, critical periods are not restricted to biological systems, but can emerge naturally in learning systems, whether biological or artificial, due to fundamental constrains arising from learning dynamics and information processing.

연구 동기 및 목표

• 생물학적 임계 기간에 비견되는 DNN의 조기 학습 동역학 연구를 동기화한다.
• 일시적 감각 결손이 DNN의 최종 성능에 어떻게 영향을 미치는지 조사한다.
• Fisher Information을 사용하여 학습 중 네트워크 계층 간 연결성의 변화 정도를 정량화한다.
• 조기 기억화와 이후 일반화 사이의 연관성 및 불변성을 위한 망각의 잠재적 이점을 연결한다.

제안 방법

• CIFAR-10과 MNIST에서 학습된 CNN에서 초기 epoch 동안 이미지 왜곡 결손(예: 흐림)을 사용하여 임계 학습 기간을 유도한다.
• 계층별 연결성을 판단하기 위해 추적 가능한 trace 기반 추정기를 통해 가중치의 Fisher Information Matrix(FIM)을 추정한다.
• 훈련 중 정보가 계층 간 재분배되는 것으로서의 Information Plasticity를 정의하고 측정한다.
• 아키텍처, 최적화 알고리즘, 데이터 분포를 비교하여 임계 기간 현상에 대한 강건성을 평가한다.
• 슬라이딩 윈도우 접근법을 사용하여 결손의 시점과 지속 기간이 민감도와 어떻게 상관관계가 있는지 분석한다.
• FIM 동역학을 손실 지형의 병목 현상 및 기억/망각 단계와 연관지어 분석한다.

실험 결과

연구 질문

• RQ1 훈련 중 일시적 결손에 노출되었을 때 심층 신경망은 임계 학습 기간을 보이는가?
• RQ2 결손의 시점과 지속 시간이 아키텍처 및 데이터셋 전반의 최종 성능에 어떻게 영향을 미치는가?
• RQ3 Fisher Information 동역학과 결손에 대한 네트워크의 민감도(Information Plasticity) 간의 관계는 무엇인가?
• RQ4 계층별 정보 재구성이 관찰된 임계 기간을 설명하고 전이 학습 효과를 해석하는 데 도움을 줄 수 있는가?

주요 결과

• DNN은 임계 기간을 보이며, 윈도우(대략 40–60 에폭) 내에서 결손을 제거하면 최종 성능이 영구적으로 저하된다.
• 흐림 결손이 초기에 도입될수록 최종 정확도가 더 떨어지며, 민감도는 초기 빠른 학습 단계에서 최고치에 도달한다.
• Fisher Information은 초기 상승 후 정합화 과정에서 감소하며, 이는 기억화에 이어 망각/재구성 단계와 대응한다.
• 결손 민감도는 전역 및 계층별 Fisher Information을 추적하며, 결손 하에서 Information Plasticity의 손실을 나타낸다.
• 계층별 분석은 결손이 더 높은 계층에 의존하도록 이동함을 보여주고, 조기 제거는 중간 계층으로의 부분적 재구성을 허용한다.
• 임계 기간은 All-CNN, ResNet, MNIST, CIFAR-10 아키텍처와 SGD, Adam 같은 최적화 방식에서도 지속되며, 그러나 형태와 지속 기간은 깊이 및 하이퍼파라미터에 따라 달라진다.