[논문 리뷰] An exact mapping between the Variational Renormalization Group and Deep Learning

Pankaj Mehta, David J. Schwab|arXiv (Cornell University)|2014. 10. 14.

Quantum many-body systems참고 문헌 2인용 수 142

한 줄 요약

이 논문은 통계역학의 변분 보정군(VRG)과 제한된 볼츠만 기계(RBM) 기반의 딥 러닝 아키텍처 사이에 정확한 수학적 사상 관계를 수립한다. 딥 뉴럴 네트워크가 카다노프 블록 스핀 보정군과 유사한 일반화된 군집화 절차를 자연스럽게 구현함으로써, 딥 러닝의 특징 추출 성공 원인이 내재된 보정군 유사 구조에서 기인할 수 있음을 보여주며, 1차원에서는 해석적으로, 2차원 이징 모델에서는 수치적으로 검증된다.

ABSTRACT

Deep learning is a broad set of techniques that uses multiple layers of representation to automatically learn relevant features directly from structured data. Recently, such techniques have yielded record-breaking results on a diverse set of difficult machine learning tasks in computer vision, speech recognition, and natural language processing. Despite the enormous success of deep learning, relatively little is understood theoretically about why these techniques are so successful at feature learning and compression. Here, we show that deep learning is intimately related to one of the most important and successful techniques in theoretical physics, the renormalization group (RG). RG is an iterative coarse-graining scheme that allows for the extraction of relevant features (i.e. operators) as a physical system is examined at different length scales. We construct an exact mapping from the variational renormalization group, first introduced by Kadanoff, and deep learning architectures based on Restricted Boltzmann Machines (RBMs). We illustrate these ideas using the nearest-neighbor Ising Model in one and two-dimensions. Our results suggests that deep learning algorithms may be employing a generalized RG-like scheme to learn relevant features from data.

연구 동기 및 목표

• 딥 러닝의 비지도 특징 학습 및 데이터 압축에서의 성공에 대한 이론적 근거를 이해하기 위해.
• 딥 뉴럴 네트워크(DNN)가 물리학에서의 보정군(RG)과 유사한 반복적 군집화를 수행하는지 조사하기 위해.
• 변분 보정군(VRG)과 제한된 볼츠만 기계(RBM) 기반의 러닝 아키텍처 사이에 정확한 일대일 사상 관계를 수립하기 위해.
• 스핀 시스템에 훈련된 DNN이 카다노프 블록 스핀 보정군과 유사한 구조로 자가조직화되는지 확인하기 위해.
• 고급 RG 기법—고정점, 보편성, 얽힘—개념이 딥 러닝 모델의 이해나 향상에 어떻게 기여할 수 있는지 탐색하기 위해.

제안 방법

• 카다노프가 개발한 원래의 변분 보정군(VRG) 프레임워크와 제한된 볼츠만 기계(RBM) 기반의 러닝 모델 사이에 정확한 사상 관계를 수립하기 위해.
• VRG의 변분 절차를 사용하여 물리계와 군집화된 계 사이의 자유 에너지 차이를 최소화하며, 이는 RBM에서 쿨백-라이블러 발산을 최소화하는 것과 유사하다.
• 1차원 및 2차원 근접 이징 모델에 이 사상을 적용하며, 1차원의 경우 해석적 방법을, 2차원의 경우 스택드 RBM의 수치적 훈련을 사용한다.
• 가중치 행렬의 반복적 컨볼루션을 통해 효과적 수신 영역을 정의하며, 가시층 스핀이 은닉층 뉴런에 미치는 영향을 추적한다.
• 대trastive divergence를 사용하고 L1 정규화와 모멘텀을 적용하여 스택드 RBM을 훈련하며, 이징 모델 데이터에 대한 비지도 특징 학습을 최적화한다.
• 효과적 수신 영역을 시각화하여 깊이가 깊어질수록 은닉층 뉴런들이 점점 더 큰 영역의 가시층을 통합함으로써 보정군 군집화를 모방함을 확인한다.

실험 결과

연구 질문

• RQ1 변분 보정군과 제한된 볼츠만 기계(RBM)와 같은 러닝 아키텍처 사이에 정확한 수학적 대응 관계가 존재하는가?
• RQ2 비지도 학습에 사용되는 딥 뉴럴 네트워크가 통계역학에서의 보정군(RG)과 유사한 반복적 군집화를 수행하는가?
• RQ3 딥 네트워크의 특징 학습 과정이 장거리 물리학을 유지하는 일반화된 보정군 변환으로 해석될 수 있는가?
• RQ4 딥 네트워크에서 학습된 표현 방식이 이징 모델에서의 카다노프 블록 스핀 변환과 어떻게 비교되는가?
• RQ5 고정점, 보편성, 얽힘 엔트로피와 같은 고급 RG 개념들이 딥 러닝 모델의 향상이나 이해에 얼마나 기여할 수 있는가?

주요 결과

• 제한된 볼츠만 기계(RBM) 기반의 러닝 아키텍처와 변분 보정군(VRG) 사이에 정확한 일대일 사상 관계가 존재한다.
• 1차원 이징 모델에 훈련된 딥 뉴럴 네트워크가 정확히 카다노프 블록 스핀 변환을 재현하며, 이론적 사상 관계를 확인한다.
• 2차원 이징 모델에서 스택드 RBM은 효과적 수신 영역의 구조를 통해 카다노프 블록 스핀 보정군과 유사한 군집화 과정을 자가조직화하여 수행한다.
• 은닉 뉴런의 효과적 수신 영역은 깊이가 증가함에 따라 점차 커지며, 깊이가 깊어질수록 가시층의 점점 더 큰 공간 영역으로부터 정보를 통합함을 나타낸다.
• 학습된 가중치 행렬은 각 층이 점점 더 추상적이고 장거리 상관관계를 캐치하는 계층적 구조를 보이며, 관련 연산자의 보정군 흐름을 모방한다.
• 훈련 중 L1 정규화를 사용함으로써 전지전능한 결합을 방지하고 희박성을 강제함으로써 의미 있는 군집화 계층을 유지하며, 이는 보정군 원칙과 일치한다.