[논문 리뷰] Provable Memorization via Deep Neural Networks using Sub-linear Parameters

Sejun Park, Jaeho Lee외 2명|arXiv (Cornell University)|2020. 10. 26.

Machine Learning and Algorithms참고 문헌 32인용 수 10

한 줄 요약

이 논문은 입력이 Δ-분리되어 있을 경우, 하위선형 파rameter를 가진 딥 네ural 네트워크—구체적으로 O(N^{2/3})—가 N개의 입력-라벨 쌍을 증명 가능하게 기억할 수 있음을 보여준다. 이 조건은 많은 실용적 데이터셋에서 만족된다. 깊이와 ReLU/sigmoidal 활성화 함수를 활용함으로써, 기존의 O(N) 기준보다 훨씬 적은 파rameter로 기억을 달성하는 좁은(너비 3) 딥 네트워크를 구성함으로써, 과다파ram터화에 관한 핵심 이론적 격차를 해결한다.

ABSTRACT

It is known that $O(N)$ parameters are sufficient for neural networks to memorize arbitrary $N$ input-label pairs. By exploiting depth, we show that $O(N^{2/3})$ parameters suffice to memorize $N$ pairs, under a mild condition on the separation of input points. In particular, deeper networks (even with width $3$) are shown to memorize more pairs than shallow networks, which also agrees with the recent line of works on the benefits of depth for function approximation. We also provide empirical results that support our theoretical findings.

연구 동기 및 목표

• O(N) 파rameter보다 적은 파rameter로 N개의 입력-라벨 쌍을 기억할 수 있는 조건을 규명하는 것.
• 깊이가 기억 능력에 대해 하위선형 파ram터 스케일링을 가능하게 하여 이전의 부정적 결과의 한계를 극복할 수 있음을 보여주는 것.
• 실제 데이터 분포를 반영하는 더 좁은 기억 한계를 가능하게 하는 기하학적 조건인 Δ-분리성(Δ-separateness)을 체계화하는 것.
• 과다파라미터화된 네트워크에서 기능 근사와 기억 능력 간의 이론적 격차를 메우는 것.

제안 방법

• Δ-분리성 조건 도입: N개의 입력 간 최대 거리와 최소 거리의 비율이 Δ로 유계임.
• ReLU 또는 sigmoidal 활성화 함수를 사용한 깊고 좁은(너비 3) 완전 연결 네트워크를 구성하여, 임의의 Δ-분리된 N개의 쌍을 기억하는 데 사용.
• 이진 표현과 지시 함수를 통한 비트 수준 조작을 이용해 라벨를 인코딩하는 모듈식 네트워크 아키텍처 설계.
• 각 레이어를 ReLU/sigmoidal 지시 함수의 선형 조합으로 구현하여 라벨의 비트를 추출하고 전파.
• 깊이를 활용해 비트 단위 연산을 시뮬레이션: 각 레이어가 비트의 부분집합을 처리함으로써 큰 라벨 공간을 효율적으로 표현.
• 네트워크 깊이가 O(N^{2-2w} + log Δ)이고 파라미터 수가 O(N^w + log Δ)임을 증명함. 여기서 w ∈ [2/3, 1]이며, w = 2/3일 때 O(N^{2/3}) 파라미터를 달성함.

실험 결과

연구 질문

• RQ1 실용적인 데이터 조건 하에서 딥 네럴 네트워크가 O(N) 파라미터보다 적은 파라미터로 N개의 입력-라벨 쌍을 기억할 수 있는가?
• RQ2 기하학적 또는 구조적 특성 중 어떤 것이 하위선형 파라미터 기억을 가능하게 하는가?
• RQ3 깊이가 기억에 필요한 파라미터 수를 줄이는 데 어떻게 기여하는가?
• RQ4 Sontag(1997)의 o(N) 파라미터에 대한 부정적 결과는 온건한 데이터 가정 하에서 회피될 수 있는가?

주요 결과

• 모든 Δ-분리된 N개의 입력-라벨 쌍에 대해, O(N^{2/3}) 파라미터를 가진 완전 연결 딥 네트워크는 Δ = 2^{O(N^{2/3})}일 때 데이터를 기억할 수 있다.
• 네트워크는 오직 O(N^{2/3}) 파라미터만을 사용하여 기존의 O(N) 기준보다 향상된 성능을 달성한다.
• 너비 3 네트워크에서도 작동하므로, 좁은 아키텍처에서도 깊이가 기억 능력 향상에 크게 기여함을 보여준다.
• 깊이 및 파라미터 수에 포함된 log Δ 항은 실용적 데이터셋에서는 일반적으로 무시할 수 있다 (예: ImageNet의 경우 log Δ < 17이므로 효과적이다).
• 실험 결과는 데이터 포인트 수보다 파라미터 수가 적은 네트워크가 Δ-분리성 조건 하에서 훈련 세트를 완벽하게 기억할 수 있음을 확인한다.