[논문 리뷰] Why Unsupervised Deep Networks Generalize

Anita de Mello Koch, Ellen De Mello Koch외 1명|arXiv (Cornell University)|2020. 12. 07.

Neural Networks and Applications참고 문헌 27인용 수 7

한 줄 요약

이 논문은 비지도 딥 네트워크가 일반화 잘 되는 이유가 데이터의 고주파(고운동량) 모드를 제거하는 은닉적인 리노멀화 그룹(RG) 변환을 수행하기 때문이라고 제안한다. 이는 통계역학 이론에서 자유도를 줄이는 방식과 유사하다. 훈련된 RBM과 오토인코더의 특이벡터를 분석함으로써 저자들은 큰 특이값이 낮은 푸리에 모드에 해당함을 확인하였고, 이는 RG 유사 행동임을 입증하였다. 또한 RG 기반 방법(RGM)을 이용한 네트워크 초기화 기법을 제안하여 훈련 시간을 4–100배 감소시키면서도 전체 훈련 수준과 유사한 성능을 달성하였다.

ABSTRACT

Promising resolutions of the generalization puzzle observe that the actual number of parameters in a deep network is much smaller than naive estimates suggest. The renormalization group is a compelling example of a problem which has very few parameters, despite the fact that naive estimates suggest otherwise. Our central hypothesis is that the mechanisms behind the renormalization group are also at work in deep learning, and that this leads to a resolution of the generalization puzzle. We show detailed quantitative evidence that proves the hypothesis for an RBM, by showing that the trained RBM is discarding high momentum modes. Specializing attention mainly to autoencoders, we give an algorithm to determine the network's parameters directly from the learning data set. The resulting autoencoder almost performs as well as one trained by deep learning, and it provides an excellent initial condition for training, reducing training times by a factor between 4 and 100 for the experiments we considered. Further, we are able to suggest a simple criterion to decide if a given problem can or can not be solved using a deep network.

연구 동기 및 목표

• 학습 샘플 수에 비해 훨씬 많은 파라미터를 가진 네트워크가 여전히 잘 일반화되는 현상인 딥 러닝의 일반화 수수께끼를 해결하기 위해.
• 리노멀화 그룹(RG)의 메커니즘이 딥 네트워크의 일반화 행동을 뒷받침하는지 조사하기 위해.
• RG 원리에 기반한 데이터 기반의 딥 네트워크 초기화 방법을 개발하여 훈련 효율성을 향상시키기 위해.
• RG 기반 분석을 통해 주어진 문제를 딥 네트워크가 해결할 수 있는지 판단할 수 있는 기준을 설정하기 위해.

제안 방법

• 훈련된 RBM과 오토인코더의 가중치 행렬에 특이값 분해(SVD)를 수행하여 학습된 표현의 구조를 분석하기 위해.
• 이중 차원 이산 푸리에 변환(DFT)을 사용하여 특이벡터의 주파수 성분을 분석하고, 반경 평균을 통해 저운동량 또는 고운동량 모드에 대한 지지도 평가하기 위해.
• 거시화 규칙을 사용하여 데이터에서 직접 네트워크 파라미터를 유도함으로써 블록 스핀 변환을 모방하는 RG 기반 초기화 방법(RGM)을 구축하기 위해.
• MNIST, 패션-MNIST, Ising 모델 데이터를 사용하여 RGM으로 초기화된 네트워크의 성능와 훈련 속도를 표준 훈련과 비교하기 위해.
• 블록 스핀 변환 행렬에 SVD를 적용하여 딥 네트워크의 학습된 가중치 행렬과 RG 거시화의 등가성을 입증하기 위해.
• 노이즈 안정성과 특이값 감쇠를 통해 효과적 파라미터 수와 일반화 능력을 나타내는 지표로 사용하기 위해.

실험 결과

연구 질문

• RQ1 훈련된 딥 네트워크는 데이터의 고주파 성분을 제거함으로써 리노멀화 그룹 유사 변환을 수행하는가?
• RQ2 딥 네트워크의 일반화 능력은 RG 유사 모드 억제를 통해 효과적 파라미터 수가 감소함으로써 설명될 수 있는가?
• RQ3 RG 기반 방법(RGM)을 사용해 딥 네트워크를 초기화하면 훈련 시간이 크게 단축되면서도 성능을 유지하는가?
• RQ4 푸리에 모드 지지도를 기반으로 한 단순한 기준을 사용해 문제의 딥 네트워크 해법 가능성을 예측할 수 있는가?
• RQ5 훈련된 가중치 행렬의 특이벡터와 알려진 RG 변환의 고유모드 사이에 정량적 대응 관계가 존재하는가?

주요 결과

• 훈련된 RBM은 RG 유사 행동를 보인다: 큰 특이값에 관련된 특이벡터는 낮은 푸리에 모드에 집중되어 있어 고운동량(고주파) 성분의 억제를 나타낸다.
• 은닉층의 특이벡터는 가시층 특이벡터에서 고주파 성분을 제거함으로써 유도되며, 이는 거시화 과정을 확인한다.
• RGM 초기화 방법은 MNIST에 대해 훈련 시간을 4배, 패션-MNIST에 대해 10배, 더 복잡한 데이터(예: 꽃 데이터셋)에 대해 최대 100배 감소시키며, 전체 훈련 수준과 거의 동일한 성능를 달성한다.
• 작은 특이값에 관련된 특이벡터는 모든 푸리에 모드에 퍼져 있어 효과적 일반화에 기여하지 않는다고 나타난다.
• 블록 스핀 변환 행렬을 SVD로 분해했을 때, 훈련된 딥 네트워크와 동일한 저주파 지지도 및 모드 제거 행동을 보이며, 이론적 등가성을 확인한다.
• 이 연구는 딥 러닝 일반화와 RG 이론 사이에 정량적 연결 고리를 제공하며, 효과적 파라미터 수가 총 파라미터 수가 아니라 큰 특이값의 수에 의해 결정된다고 제안한다.