[논문 리뷰] Criticality & Deep Learning II: Momentum Renormalisation Group

Dan Oprisa, Péter Tóth|arXiv (Cornell University)|2017. 05. 31.

Advanced Thermodynamics and Statistical Mechanics참고 문헌 13인용 수 3

한 줄 요약

이 논문은 비균일 다항식 정규화를 통해 딥 러닝(DL) 시스템에서 척도 불변성을 유도하는 새로운 운동량 공간 리노멀화 그룹(RG) 프레임워크를 제안한다. 딥 러닝 아키텍처를 효과적 양자장 이론으로 매핑하고, 운동량 공간에서 윌슨의 RG를 적용함으로써 커플링에 대한 유동 방정식을 유도한다. 이는 임계 정규화 조건으로 번역되며, DL 모델에서 임계성과 멱법칙 상관관계를 달성하기 위한 수학적으로 우아하고 충분한 메커니즘을 제공한다.

ABSTRACT

Guided by critical systems found in nature we develop a novel mechanism consisting of inhomogeneous polynomial regularisation via which we can induce scale invariance in deep learning systems. Technically, we map our deep learning (DL) setup to a genuine field theory, on which we act with the Renormalisation Group (RG) in momentum space and produce the flow equations of the couplings; those are translated to constraints and consequently interpreted as "critical regularisation" conditions in the optimiser; the resulting equations hence prove to be sufficient conditions for - and serve as an elegant and simple mechanism to induce scale invariance in any deep learning setup.

연구 동기 및 목표

• 통계역학의 임계현상 이론을 활용하여 딥 러닝 시스템에서 척도 불변성을 유도하는 이론적 메커니즘을 수립하는 것.
• 완전히 연결된 네트워크를 운동량 공간에서 해밀토니안 표현으로 매핑함으로써 딥 러닝과 효과적 양자장 이론을 연결하는 것.
• 운동량 공간에서의 리노멀화 그룹 흐름 방정식에서 유도된 새로운 정규화 기법인 '임계 정규화'를 개발하는 것.
• 딥 러닝 아키텍처에서 임계성을 달성하기 위한 수학적으로 엄밀하고 일반화 가능한 프레임워크를 제공하는 것.

제안 방법

• 가중치와 편향을 커플링 매개변수로 포함하는 해밀토니안 밀도를 통한 완전히 연결된 딥 러닝 네트워크를 효과적 양자장 이론으로 매핑하는 것.
• 운동량 공간에서 윌슨의 리노멀화 그룹(RG) 변환을 수행하고 척도 변환 하에서 커플링에 대한 유동 방정식을 도출하는 것.
• RG 유동 방정식을 네트워크 가중치에 대한 제약 조건으로 변환하여 최적화 과정에서 '임계 정규화' 조건으로 해석하는 것.
• 푸리에 기저를 사용하여 운동량 공간에서 해밀토니안을 대각화함으로써 운동량에 의존하는 커플링을 갖는 운동량 변수에 대한 이차형식을 도출하는 것.
• 가우시안 근사에서 2점 상관함수를 정확히 계산하여 임계 상태에서 멱법칙 감쇠 Ckl ∼ 1/|x|^{d−2} 를 보여주는 것.
• 장거리에서의 발산을 통해 임계성을 평가하기 위해 상관함수를 훈련된 DL 시스템의 진단 도구로 사용하며, d=2일 때 로그 발산을 보이는 것.

실험 결과

연구 질문

• RQ1 운동량 공간에서의 리노멀화 그룹이 딥 러닝 시스템에서 척도 불변성을 유도하는 데 사용될 수 있는가?
• RQ2 딥 러닝 아키텍처에서 임계성을 달성하기 위한 네트워크 가중치에 필요한 충분한 조건은 무엇인가?
• RQ3 커플링 유동과 固定点 등의 양자장 이론 개념이 딥 러닝 최적화 및 정규화에 어떻게 매핑될 수 있는가?
• RQ4 2점 상관함수는 깊은 신경망에서 임계성을 진단하는 데 어떤 역할을 하는가?
• RQ5 운동량 공간 RG가 딥 러닝을 위한 원칙적이고 일반적인 정규화 메커니즘을 제공할 수 있는가?

주요 결과

• 운동량 공간 RG 프레임워크는 딥 러닝 시스템에서 척도 불변성을 위한 충분 조건이 되는 커플링 유동에 대한 미분방정식의 집합을 생성한다.
• 유도된 임계 정규화 제약 조건은 수학적으로 우아하며 네트워크 가중치에 대한 최적화 제약 조건으로 직접 변환 가능하다.
• 가우시안 근사에서 2점 상관함수는 멱법칙 감쇠 ∼1/|x|^{d−2} 를 보이며, r → 0 일 때 임계 행동을 확인한다.
• d = 2 인 경우, 장거리에서 상관함수는 로그 발산을 보이며, 이는 임계성의 상징적 특징이다.
• 이 방법은 운동량 공간 RG 유동을 통해 어떤 딥 러닝 아키텍처에도 임계성을 임베딩할 수 있는 일반적인 장 이론 기반 메커니즘을 제공한다.
• 이 프레임워크는 딥 러닝을 효과적 양자장 이론으로 성공적으로 매핑하여 통계장 이론의 고급 도구를 사용해 모델 행동을 연구하고 제어할 수 있도록 한다.