[논문 리뷰] Detecting Memorization in ReLU Networks

Edo Collins, Siavash Bigdeli외 1명|arXiv (Cornell University)|2018. 10. 08.

Neural Networks and Reservoir Computing참고 문헌 25인용 수 4

한 줄 요약

이 논문은 단일 클래스 입력 배치에 대해 깊이 있는 레이어 활성화의 비선형성에 대한 비음수 행렬 분해(NMF)를 사용하여 ReLU 신경망에서의 기억화를 탐지하는 새로운 방법을 제안한다. 이 방법은 깊이 있는 레이어에서의 높은 비선형성이 기억화와 강하게 상관되며, NMF 압축 성능의 곡선 아래 면적(AuC)을 추적하여 효과적인 조기 정지가 가능하다는 것을 드러낸다.

ABSTRACT

We propose a new notion of `non-linearity' of a network layer with respect to an input batch that is based on its proximity to a linear system, which is reflected in the non-negative rank of the activation matrix. We measure this non-linearity by applying non-negative factorization to the activation matrix. Considering batches of similar samples, we find that high non-linearity in deep layers is indicative of memorization. Furthermore, by applying our approach layer-by-layer, we find that the mechanism for memorization consists of distinct phases. We perform experiments on fully-connected and convolutional neural networks trained on several image and audio datasets. Our results demonstrate that as an indicator for memorization, our technique can be used to perform early stopping.

연구 동기 및 목표

• 가역적 변환(예: 가중치 스케일링)에 대해 강건한, 활성화 기반의 기억화 신뢰도 지표를 식별하는 것.
• 비음수 행렬 분해(NMF)를 통한 활성화 행렬 분석으로 측정된 깊이 있는 레이어의 비선형성이 일반화 성능 열악함과 상관되는가를 조사하는 것.
• 제안된 방법이 과적합을 방지하기 위해 학습 중 조기 정지 기준으로 실용적으로 사용될 수 있는가를 평가하는 것.
• 압축 기반의 강건성 측정치로서 NMF, 주성분 분석(PCA), 무작위 제거 기법의 감도를 비교하여 기억화 탐지에 대한 성능을 평가하는 것.

제안 방법

• 입력 배치에 대한 ReLU 레이어의 비선형성을 그 선형 시스템에의 가까움으로 정의하며, 활성화 행렬의 비음수 질량으로 정량화한다.
• 단일 클래스 배치의 활성화 행렬에 대해 근사 비음수 행렬 분해(NMF)를 적용하여 다양한 근사 질량 $k$의 그리드에서 비선형성을 추정한다.
• NMF로 압축된 활성화에 대한 정확도 대 $k$의 곡선 아래 면적(AuC)을 측정하여 강건성 평가 및 기억화 탐지 수행.
• NMF, PCA, 무작위 제거 기법의 각각의 AuC 곡선을 계산하고 일반화 오차와의 상관관계를 평가하여 비교.
• 학습 과정에서 네트워크를 레이어 단위로 분석하여 비선형성의 진행 상황 추적.
• 단일 클래스 NMF의 AuC를 실시간 신호로 사용하여 기억화가 시작될 때 조기 정지를 유도한다.

실험 결과

연구 질문

• RQ1 활성화 행렬의 비음수 질량으로 측정된 깊이 있는 ReLU 레이어의 비선형성은 기억화의 신뢰도 있는 지표가 될 수 있는가?
• RQ2 단일 클래스 및 다중 클래스 입력 배치 간 활성화의 비선형성은 어떻게 다를 수 있으며, 이는 기억화에 대해 무엇을 드러내는가?
• RQ3 NMF 기반 비선형성 측정치가 PCA 또는 무작위 제거 기법보다 일반화 오차와 더 강하게 상관되는가?
• RQ4 NMF 기반 AuC 곡선을 사용하여 학습 중 기억화의 시작 시점을 탐지하고 효과적인 조기 정지를 유도할 수 있는가?

주요 결과

• 단일 클래스 배치에 대해 NMF를 적용한 깊이 있는 레이어에서의 높은 비선형성은 기억화의 강력한 지표이며, 특히 다중 클래스 배치와 비교할 때 두드러진다.
• NMF 기반 AuC 곡선은 CIFAR-10에서 일반화 오차와 피어슨 상관계수 -0.82를 보이며, PCA(-0.64) 및 무작위 제거(-0.61)를 능가한다.
• NMF AuC 곡선의 최고점은 테스트 손실의 局부 최소점과 거의 정확히 일치하며, 과적합의 시작 시점을 고정밀도로 탐지함을 시사한다.
• 이 방법은 이미지 및 오디오 데이터셋에서 학습된 완전 연결 및 컨볼루션 네트워크 모두에서 기억화를 성공적으로 식별한다.
• 레이어 단위 분석을 통해 기억화가 명확한 단계를 거쳐 진행되며, 학습이 진행됨에 따라 깊이 있는 레이어에서 비선형성이 크게 증가하는 것으로 나타났다.
• 제안된 NMF 기반 접근법은 효과적인 조기 정지를 가능하게 하며, AuC 곡선이 테스트 오차가 상승하기 시작하기 직전에 최대에 도달함을 확인했다.