[논문 리뷰] On the geometry of generalization and memorization in deep neural networks

Cory Stephenson, Suchismita Padhy외 4명|arXiv (Cornell University)|2021. 05. 30.

Neural Networks and Applications참고 문헌 36인용 수 15

한 줄 요약

이 논문은 복제 기반 평균장 기하 분석을 사용하여 딥 네ural 네트워크에서의 기억화와 일반화를 연구하며, 기억화가 깊이가 깊어질수록 객체 다양체의 반지름과 차원이 감소함에 따라 주로 더 깊은 층에서 발생함을 밝혀냈다. 핵심 발견은 일반화를 회복하기 위해 최종 층의 가중치를 기억화가 발생하기 이전의 이전 훈련 에포크로 되돌리는 것으로, 초기화 근처의 공유 특징이 조기에 일반화를 가능하게 한다.

ABSTRACT

Understanding how large neural networks avoid memorizing training data is key to explaining their high generalization performance. To examine the structure of when and where memorization occurs in a deep network, we use a recently developed replica-based mean field theoretic geometric analysis method. We find that all layers preferentially learn from examples which share features, and link this behavior to generalization performance. Memorization predominately occurs in the deeper layers, due to decreasing object manifolds' radius and dimension, whereas early layers are minimally affected. This predicts that generalization can be restored by reverting the final few layer weights to earlier epochs before significant memorization occurred, which is confirmed by the experiments. Additionally, by studying generalization under different model sizes, we reveal the connection between the double descent phenomenon and the underlying model geometry. Finally, analytical analysis shows that networks avoid memorization early in training because close to initialization, the gradient contribution from permuted examples are small. These findings provide quantitative evidence for the structure of memorization across layers of a deep neural network, the drivers for such structure, and its connection to manifold geometric properties.

연구 동기 및 목표

• 딥 네럴 네트워크에서 기억화의 구조적 원인을 이해하기, 특히 층별로 언제 어디서 발생하는지 파악하기.
• 크기가 큰 네트워크가 랜덤 레이블을 기억할 수 있는 능력을 지니고 있음에도 불구하고 일반화되는 이유를 조사하기.
• 객체 다양체의 기하적 성질(반지름, 차원, 상관관계)이 학습 동역학에 미치는 영향을 설명하기.
• 학습 중 다양체 차원의 비단조화적 변화와 연결된 더블 디센트 현상을 연결하기.
• 초기화 근처에서 노이즈가 많은 예시의 기울기 기여가 작아지며 공유 특징 덕분에 조기 일반화가 발생하는 이유를 설명하기.

제안 방법

• 딥 네트워크의 층별 표현 기하학을 분석하기 위해 복제 기반 평균장 이론 기반 기하 조사 도구를 사용하였다.
• 훈련 에포크와 모델 크기 변화에 따라 객체 다양체의 반지름, 차원, 중심 상관관계 변화를 추적하였다.
• 같은 클래스의 예시에서 유사한 선형 특징이 공유되므로, 공유 특징 덕분에 같은 클래스의 특징이 선호적으로 학습됨을 측정하기 위해 기하 조사 도구를 사용하였다.
• 기억화 효과를 분리하고 동역학을 비교하기 위해 실제 데이터와 무작위로 레이블이 붙은 데이터로 네트워크를 훈련시켰다.
• 다양한 훈련 단계에서 최종 층의 가중치를 되돌려 일반화 성능 복구 여부를 테스트하기 위해 가중치 롤백을 적용하였다.
• 모델 크기 영향을 분석하여 일반화 오차의 더블 디센트 현상이 비단조화적인 다양체 차원 확장을 연결짓기 위해 사용하였다.

실험 결과

연구 질문

• RQ1 네트워크 아키텍처에서 기억화가 주로 발생하는 위치는 어디인가—초기 층, 중간 층, 또는 깊은 층인가?
• RQ2 기억화의 시작을 이끄는 객체 다양체의 기하적 성질은 무엇인가?
• RQ3 초기화 근처에서 네트워크가 높은 능력을 지니고 있음에도 불구하고 일반화되는 이유는 무엇인가?
• RQ4 일반화 오차의 더블 디센트 현상은 표현 공간의 기하적 변화와 어떻게 관련이 있는가?
• RQ5 기억화가 발생한 후 최종 층의 가중치를 이전 훈련 상태로 되돌림으로써 일반화를 복구할 수 있는가?

주요 결과

• 기억화는 깊은 네트워크의 최종 층에 집중적으로 발생하며, 깊이가 깊어질수록 객체 다양체의 반지름과 차원이 감소함에 따라 유도된다.
• 초기 층은 기하적 성질이 안정적이고 공유 특징 학습이 이루어지므로 기억화의 영향을 최소한도로 억제한다.
• 기억화가 발생하기 이전의 이전 훈련 에포크로 최종 몇 층의 가중치를 되돌림으로써 일반화를 복구할 수 있다.
• 초기화 근처에서는 무작위로 레이블이 붙은 예시의 기울기가 공유 특징이 없기 때문에 가중치 갱신에 기여가 미미하여 조기 일반화가 가능하다.
• 일반화 오차의 더블 디센트 현상은 모델 크기가 증가함에 따라 다양체 차원의 비단조화적 확장을 직접적으로 연결한다.
• 다양체 차원은 더블 디센트를 보이며, 반지름과 중심 상관관계는 단조롭게 유지되므로 차원이 더블 디센트의 주요 기하적 원인임을 시사한다.