[논문 리뷰] Neural Network Memorization Dissection

Jindong Gu, Volker Tresp|arXiv (Cornell University)|2019. 11. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 17인용 수 6

한 줄 요약

이 논문은 딥 네ural 네트워크(DNNs)가 훈련 중에 학습하는 것과 기억하는 것을 구분하기 위해 기울기 기반 방법을 제안한다. 기울기 크기 분석과 GAN 기반 최적화를 통해 학습된 특징을 비교함으로써, DNNs는 일관되게 단순하고 공유되는 패턴을 학습하지만(학습의 한 가지 방식), 특히 랜덤 레이블이 붙은 경우에 고도로 다양하고 모델에 특화된 경로를 통해 개별 훈련 샘플을 기억함(기억의 N가지 방식)을 발견하였다.

ABSTRACT

Deep neural networks (DNNs) can easily fit a random labeling of the training data with zero training error. What is the difference between DNNs trained with random labels and the ones trained with true labels? Our paper answers this question with two contributions. First, we study the memorization properties of DNNs. Our empirical experiments shed light on how DNNs prioritize the learning of simple input patterns. In the second part, we propose to measure the similarity between what different DNNs have learned and memorized. With the proposed approach, we analyze and compare DNNs trained on data with true labels and random labels. The analysis shows that DNNs have extit{One way to Learn} and extit{N ways to Memorize}. We also use gradient information to gain an understanding of the analysis results.

연구 동기 및 목표

• DNNs가 훈련 도중 단순한 입력 패턴을 어떻게 우선순위를 두고 학습하는지 이해하기.
• 다른 DNNs가 학습하고 기억한 내용 간의 유사도를 측정하는 방법 개발하기.
• 실제 레이블과 랜덤 레이블이 붙은 데이터로 훈련된 DNNs의 학습 및 기억 행동 비교하기.
• 다양한 DNN 아키텍처와 랜덤 초기화가 일관된 학습 함수 또는 다름진 기억 패턴을 유도하는지 조사하기.

제안 방법

• 학습 입력 전부에 대해 기울기 절댓값의 평균인 $ \overline{G} $ 를 계산하여 훈련 중 학습 역학을 추적한다.
• 각 클래스에 대해 활성화를 최대화하는 입력 패턴 $ \boldsymbol{x}^{j*} $ 를 생성하기 위해 GAN 기반 최적화를 사용한다. 이는 모델이 학습한 내용을 나타낸다.
• 다른 모델 간의 이질성은 식 2를 사용해 측정되며, 이는 서로 다른 모델에서 최적화된 패턴 간 평균 거리를 계산한다.
• 학습 및 기억 행동을 비교하기 위해 모델을 실제 레이블($ \mathbb{X}^{T} $)과 랜덤 레이블($ \mathbb{X}^{R} $) 데이터셋에 대해 훈련시킨다.
• 내부 표현을 반영하는 이미지 $ G(\boldsymbol{z}) $ 를 생성하기 위해 잠재 코드 $ \boldsymbol{z} $ 를 기울기 상승 최적화를 통해 조정한다.
• 다양한 랜덤 시드, 아키텍처(VGG11, VGG13, ResNet32), 데이터 노이즈 수준으로 훈련된 모델을 비교하여 일관성과 분산 정도를 평가한다.

실험 결과

연구 질문

• RQ1 레이블이 랜덤일 경우, DNNs가 초기 훈련 단계에서 단순한 패턴을 어떻게 우선순위를 두고 학습하는가?
• RQ2 실제 레이블로 훈련된 DNN의 학습 함수가 랜덤 초기화와 아키텍처에 따라 얼마나 일관되게 유지되는가?
• RQ3 다른 초기화를 가진 동일한 랜덤 레이블 데이터셋으로 훈련된 DNN들 간에 기억 패턴은 어떻게 다름?
• RQ4 기울기 역학과 DNNs에서 학습과 기억의 발생 간의 관계는 어떠한가?
• RQ5 레이블 노이즈가 증가할수록 다양한 모델 간에 학습 함수와 기억된 표현의 유사도는 어떻게 변화하는가?

주요 결과

• 실제 레이블로 훈련된 DNNs는 일관된 훈련 궤적과 기울기 역학을 보이며, 공유 패턴을 학습하는 유일하고 안정된 방식임을 나타낸다.
• 실제 레이블로 훈련된 모델들은 학습된 특징에서 매우 낮은 이질성(그림 3의 파란 막대)을 보이며, 초기화나 아키텍처에 관계없이 유사한 내부 표현으로 수렴함을 확인한다.
• 반면, 랜덤 레이블로 훈련된 모델들은 높은 이질성(그림 3의 노란색 막대)을 보이며, 개별 훈련 샘플을 기억하는 N가지의 서로 다른 경로를 가짐을 시사한다.
• 기울기 크기 $ \overline{G} $ 는 피팅 단계에서 급격히 증가하며, 랜덤 레이블 훈련에서는 명확한 탐색 단계가 있고, 실제 레이블 훈련에서는 직접 피팅 단계가 있음을 반영한다. 이는 최적화 역학이 다름을 나타낸다.
• 웨이트 디케이와 데이터 증강을 적용해도, 랜덤 레이블로 훈련된 DNNs의 기억 패턴은 런 간에 여전히 매우 다양하게 유지되며, 이는 N가지로 기억하는 현상이 확인됨을 뒷받침한다.
• 레이블 노이즈가 증가할수록 DNNs의 학습 함수는 점점 더 유사도가 떨어지며, 학습에서 기억으로의 전환을 나타낸다.