[논문 리뷰] Deep learning and the renormalization group

Cédric Bény|arXiv (Cornell University)|2013. 01. 14.

Quantum many-body systems참고 문헌 8인용 수 39

한 줄 요약

이 논문은 깊이 있는 학습과 재규격화군(RG) 사이의 개념적·알고리즘적 다리를 놓는다. 다중 척도 얽힘 재규격화 안자(MERA)는 원래 양자 다체계 방법이지만, 이를 고전적 확률 분포를 위한 깊이 있는 생성 모델로 재해석함으로써, 국소적 상관관계와 계층적 군집화를 활용해 샘플링 없이 효율적인 학습을 가능하게 한다. 이는 표준 깊이 있는 학습의 대안으로서 확장 가능하고 구조 인식 능력을 갖춘 방법이다.

ABSTRACT

Renormalization group (RG) methods, which model the way in which the effective behavior of a system depends on the scale at which it is observed, are key to modern condensed-matter theory and particle physics. We compare the ideas behind the RG on the one hand and deep machine learning on the other, where depth and scale play a similar role. In order to illustrate this connection, we review a recent numerical method based on the RG---the multiscale entanglement renormalization ansatz (MERA)---and show how it can be converted into a learning algorithm based on a generative hierarchical Bayesian network model. Under the assumption---common in physics---that the distribution to be learned is fully characterized by local correlations, this algorithm involves only explicit evaluation of probabilities, hence doing away with sampling.

연구 동기 및 목표

• 깊이 있는 학습과 재규격화군(RG) 사이의 개념적·알고리즘적 연결을 수립함으로써, 양쪽 프레임워크에서 깊이와 척도의 관계를 규명하는 것.
• 원래 양자 다체계 방법이었던 다중 척도 얽힘 재규격화 안자(MERA)를 고전적 깊이 있는 학습 알고리즘으로 변형하여 생성 모델링에 적용하는 것.
• 국소적 상관관계와 계층적 군집화를 활용해 샘플링이 필요 없이 복잡한 확률 분포를 효율적으로 학습하는 것.
• 재규격화군 원리를 기반으로 한 계층적 베이지안 네트워크가 반복적인 군집화를 통해 장거리 의존성을 효과적으로 모델링할 수 있음을 보여주는 것.
• 로컬 마진 확률만을 사용해 계층별로 학습을 수행할 수 있도록 하여, 확장 가능하고 계산적으로 실현 가능한 방법을 제공하는 것.

제안 방법

• 각 층이 미세한 변수를 효과적인 군집화된 변수로 변환하는 스토하스틱 군집화 맵을 적용하는 계층적 베이지안 네트워크로 MERA를 재구성하는 것.
• 첫 번째 층을 학습하기 위해 국소적 감소 상태(작은 사이트 집합의 마진 확률)를 사용하여 근접 상관관계를 유지하는 것.
• 군집화 맵의 베이지안 역행을 적용하여 각 척도에서 학습 데이터와 모델의 재규격화된 출력을 비교함으로써 반복적인 개선을 수행하는 것.
• 관측된 국소적 마진 확률의 가능도를 최대화함으로써 스토하스틱 맵(채널)의 파라미터를 최적화하여 전체 분포 샘플링을 피하는 것.
• 다중 패assing 학습 전략을 적용: 먼저 국소 데이터로 첫 번째 층을 학습하고, 그 출력을 사전 확률로 사용해 이후 층을 단계적으로 학습함으로써 점차 더 큰 척도를 커버하는 것.
• 학습 데이터를 알려지지 않은 분포에서의 표본으로 간주하고, 국소 해밀토니언 구조의 가정을 통해 각 척도에서의 효과적 모델을 유추하는 것.

실험 결과

연구 질문

• RQ1 재규격화군의 계층적 군집화 절차를 고전적 확률 분포를 위한 깊이 있는 학습 프레임워크로 적응시킬 수 있는가?
• RQ2 원래 양자 상태 표현이었던 다중 척도 얽힘 재규격화 안자(MERA)는 어떻게 고전적 데이터를 위한 생성 모델로 재해석될 수 있는가?
• RQ3 로컬 마진 확률만을 기반으로 하여 샘플링 없이 깊이 있는 학습 모델을 얼마나 잘 구성할 수 있는가?
• RQ4 RG 원리를 기반으로 한 계층적 베이지안 네트워크는 반복적인 군집화를 통해 장거리 의존성을 효과적으로 포착할 수 있는가?
• RQ5 국소적 상관관계는 깊이 있는 모델에서 확장 가능하고 구조 인식 능력을 갖춘 학습을 어떻게 가능하게 하는가?

주요 결과

• MERA 프레임워크는 양자 상태 준비를 확률적 추론으로 대체함으로써 고전적 확률 분포를 위한 깊이 있는 학습 알고리즘으로 성공적으로 적응시킬 수 있다.
• 로컬 마진 확률의 명시적 평가만을 기반으로 하여 샘플링 없이 학습이 가능해져 계산 비용을 크게 절감할 수 있다.
• 모델의 계층적 구조 덕분에 반복적인 군집화를 통해 장거리 상관관계를 효율적으로 모델링할 수 있으며, 이는 RG 흐름을 모방한다.
• 로컬 데이터를 사용해 계층별로 학습이 가능하며, 이후 각 층은 이전 층의 출력을 사전 확률로 사용함으로써 확장 가능한 최적화를 가능하게 한다.
• 스토하스틱 맵의 반복적 적용을 통해 잠재적 질서 매개변수와 고차원 특징이 자연스럽게 포착되며, 이는 깊이 있는 학습의 특징 계층과 유사하다.
• 비국소적 구조에 대해서도 강인한데, 각 척도에서의 스토하스틱 맵을 독립적으로 조정함으로써 근접 상관관계에 포함되지 않은 장거리 의존성을 반영할 수 있다.