[논문 리뷰] A Closer Look at Memorization in Deep Networks

Devansh Arpit, Stanisław Jastrzȩbski외 9명|arXiv (Cornell University)|2017. 06. 16.

Adversarial Robustness in Machine Learning참고 문헌 24인용 수 357

한 줄 요약

이 논문은 실제 데이터와 잡음으로 학습을 비교하여 딥 네트워크의 기억화를 조사하고, 네트워크가 먼저 단순한 패턴을 학습하며 정규화가 노이즈의 기억화를 느리게 하되 실제 데이터 학습에는 해를 주지 않는다는 것을 보여준다.

ABSTRACT

We examine the role of memorization in deep learning, drawing connections to capacity, generalization, and adversarial robustness. While deep networks are capable of memorizing noise data, our results suggest that they tend to prioritize learning simple patterns first. In our experiments, we expose qualitative differences in gradient-based optimization of deep neural networks (DNNs) on noise vs. real data. We also demonstrate that for appropriately tuned explicit regularization (e.g., dropout) we can degrade DNN training performance on noise datasets without compromising generalization on real data. Our analysis suggests that the notions of effective capacity which are dataset independent are unlikely to explain the generalization performance of deep networks when trained with gradient based methods because training data itself plays an important role in determining the degree of memorization.

연구 동기 및 목표

• 경사 하강법 기반 학습 하에서 심층 신경망에서 기억화가 어떻게 나타나는지 조사한다.
• 실제 데이터와 무작위 노이즈에서의 학습 역학을 대조하여 패턴의 역할을 이해한다.
• 데이터셋의 속성 및 정규화가 기억화와 일반화에 어떤 영향을 미치는지 평가한다.

제안 방법

• 잡음(무작위 입력/레이블)과 실제 데이터에서 DNN을 학습시켜 기억화를 실행 가능하게 한다.
• 실제 데이터와 노이즈 데이터 간의 학습 역동성, 그래디언트 기반 민감도, 특징 패턴을 비교한다.
• 손실 민감도와 Critical Sample Ratio(CSR)를 도입·측정하여 의사 결정 경계의 복잡도를 정량화한다.
• 다양한 노이즈 수준과 데이터셋 크기에서 용량 및 유효 용량을 분석한다.
• 정규화 방법(예: 드롭아웃)과 적대적 학습이 기억화 속도와 일반화에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 DNN은 SGD 기반 학습에서 실제 데이터를 무작위 노이즈와 다르게 기억하는가?
• RQ2 네트워크는 기억하기 전에 단순한 패턴을 먼저 학습하는가, 그리고 이것이 데이터 현실성에 의존하는가?
• RQ3 데이터셋 크기, 용량, 정규화가 실제 데이터와 노이즈 데이터에서의 기억화와 일반화에 어떤 영향을 미치는가?
• RQ4 정규화가 실제 데이터 학습을 해치지 않으면서 노이즈의 기억화를 느리게 만들 수 있는가?
• RQ5 손실 민감도와 CSR처럼 어떤 지표가 데이터셋 전반에 걸친 기억화 역학을 드러내는가?

주요 결과

• 실제 데이터로 학습된 DNN은 노이즈로 학습할 때와 비교해 최적화에서 정성적 차이를 보인다.
• 네트워크는 기억하기 전에 먼저 단순한 패턴을 학습하는 경향이 있다.
• 명시적 정규화(예: 드롭아웃)는 실제 데이터 학습에 크게 해를 끼치지 않으면서 노이즈 데이터의 기억화를 느리게 만들 수 있다.
• 노이즈 분율이 높고 학습 시간이 길어지면 노이즈 데이터의 기억이 증가하여 유효 복잡도가 더 높아진다.
• 손실 민감도와 CSR은 실제 데이터가 더 구조적이고 패턴 기반의 학습을 유도하는 반면 노이즈는 더 넓고 덜 선택적인 민감도를 초래함을 보여준다.
• 용량은 노이즈 수준과 상호 작용하여 더 높은 용량이 노이즈 입력의 기억에 도움이 되지만 실제 데이터 성능은 보통 용량에서도 견고하게 유지된다.