[논문 리뷰] Small ReLU networks are powerful memorizers: a tight analysis of memorization capacity

Chulhee Yun, Suvrit Sra외 1명|arXiv (Cornell University)|2018. 10. 17.

Stochastic Gradient Optimization Techniques참고 문헌 40인용 수 16

한 줄 요약

이 논문은 Ω(√N)의 히든 유닛을 가진 작은 3층 ReLU 네트워크가 N개의 데이터 포인트를 완벽하게 기억할 수 있음을 보여주며, 기억 용량을 위해 너비 Θ(√N)가 필수적이고 충분함을 증명한다. 이는 날카운 이론적 경계를 수립하고, 더 깊고 잔차 연결이 있는 네트워크로 결과를 확장하며, SGD가 기억 최소값 근처의 낮은 손실 해에 신속히 수렴함을 보여준다.

ABSTRACT

We study finite sample expressivity, i.e., memorization power of ReLU networks. Recent results require $N$ hidden nodes to memorize/interpolate arbitrary $N$ data points. In contrast, by exploiting depth, we show that 3-layer ReLU networks with $Ω(\sqrt{N})$ hidden nodes can perfectly memorize most datasets with $N$ points. We also prove that width $Θ(\sqrt{N})$ is necessary and sufficient for memorizing $N$ data points, proving tight bounds on memorization capacity. The sufficiency result can be extended to deeper networks; we show that an $L$-layer network with $W$ parameters in the hidden layers can memorize $N$ data points if $W = Ω(N)$. Combined with a recent upper bound $O(WL\log W)$ on VC dimension, our construction is nearly tight for any fixed $L$. Subsequently, we analyze memorization capacity of residual networks under a general position assumption; we prove results that substantially reduce the known requirement of $N$ hidden nodes. Finally, we study the dynamics of stochastic gradient descent (SGD), and show that when initialized near a memorizing global minimum of the empirical risk, SGD quickly finds a nearby point with much smaller empirical risk.

연구 동기 및 목표

• ReLU 네트워크의 유한 표본 표현력과 기억 용량을 이해하고, 특히 VC 차원과의 비교를 통해 분석한다.
• 기존 이론에서 N개의 데이터 포인트를 위해 N개의 히든 노드가 필요하다는 격차를 해결한다. 이는 큰 N에 대해 실용적이지 않다.
• 기억 용량을 위해 필요한 최소 너비에 대한 날카운 이론적 경계를 제공하며, 3층 네트워크에서 Θ(√N)가 필수적이고 충분함을 보여준다.
• 일반 위치 조건 하에 깊은 네트워크와 잔차 연결 네트워크로 결과를 확장하여, 필요한 너비를 감소시킨다.
• 기억 최소값 근처에서 SGD의 동역학을 분석하여, 초기화가 기억 최소값 근처에 있을 경우 낮은 손실 해로 신속히 수렴함을 보여준다.

제안 방법

• ReLU 활성화 특성에 기반한 기하학적 구성 기법을 사용하여, 히든 너비 d₁, d₂가 d₁d₂ ≥ 4Nd_y를 만족하는 3층 네트워크가 임의의 데이터셋을 기억할 수 있음을 보인다.
• 얕은 네트워크(2–3층)에 대해 기억 용량의 상한 경계를 증명하여 하한 경계의 날카움을 확립한다.
• 연속된 레이어 간의 간선 곱의 합을 분석하여 깊은 네트워크로 분석을 확장하며, W = Ω(N)의 매개변수로 N개의 데이터 포인트를 기억하는 데 충분함을 보여준다.
• 일반 위치 조건을 적용하여 잔차 네트워크를 분석하며, 이전 연구 대비 훨씬 낮은 너비 요구 조건을 도출한다.
• 기억 최소값 근처에서 손실의 이차 테일러 전개를 사용하여 SGD 동역학을 분석한다.
• 기울기 방향에 대해 평행 및 수직 성분으로 기울기 및 함수의 변형을 분해함으로써 정밀한 손실 변화 경계를 도출한다.

실험 결과

연구 질문

• RQ1 임의의 N개의 데이터 포인트를 기억하기 위해 필요한 3층 ReLU 네트워크의 최소 너비는 무엇인가?
• RQ2 얕은 ReLU 네트워크의 기억 용량을 날카운 상한 및 하한 경계로 특성화할 수 있는가?
• RQ3 깊이가 완전히 연결된 네트워크에서 기억의 매개변수 효율성에 어떤 영향을 미치는가?
• RQ4 일반 위치 조건 하에서 잔차 네트워크의 기억 용량은 무엇인가?
• RQ5 기억 최소값 근처에 초기화된 SGD가 낮은 손실 해로 수렴하는 데 얼마나 빠른가?

주요 결과

• 스칼라 출력을 가진 3층 ReLU 네트워크에서 히든 너비 d₁ = d₂ = 2√N를 가질 경우, N개의 데이터셋을 어떤 경우에도 기억할 수 있으며, 총 히든 유닛 수는 Θ(√N)로 충분하다.
• 3층 ReLU 네트워크에 대해 Θ(√N)의 너비 요구 조건은 필수적이고 충분하며, 기억 용량에 대한 날카운 경계를 입증한다.
• d_y개의 클래스에 대한 분류 문제에서는, 너비가 2k–2k–4k인 4층 ReLU 네트워크가 10⁶개의 데이터 포인트를 10³개의 클래스에서 기억할 수 있으며, 실용적 가능성을 보여준다.
• 깊은 네트워크의 경우, 히든 레이어에 W = Ω(N)의 매개변수만으로도 N개의 데이터 포인트를 기억하는 데 충분하며, VC 차원에 대한 상한 O(WL log W)와 거의 일치한다.
• 일반 위치 조건 하에서, 잔차 네트워크는 기억을 위해 N개 이하의 히든 유닛만으로도 충분하며, 이는 이전 결과보다 향상된 것이다.
• 기억 최소값 근처에 초기화된 SGD는 유리한 곡률과 기울기 구조 덕분에 낮은 경험적 리스크를 가진 근처 점으로 신속히 수렴한다.