[논문 리뷰] Gaussian Information Bottleneck and the Non-Perturbative Renormalization Group

Adam G. Kline, Stephanie E. Palmer|arXiv (Cornell University)|2021. 07. 28.

Quantum many-body systems참고 문헌 40인용 수 12

한 줄 요약

이 논문은 소프트 컷오프 군집화 맵을 통해 가우시안 정보 볼팅(GIB)과 비임계 양자군집화 그룹(NPRG) 방법 간의 형식적 동치성을 수립한다. GIB가 연속적인 변환 하에서 준군(semigroup)을 이룬다는 것을 보이며, IB 프레임워크 내에서 NPRG 컷오프 스케일을 규명함으로써 IB가 RG 흐름에 대규모 구조를 부여할 수 있음을 보여준다.

ABSTRACT

The renormalization group (RG) is a class of theoretical techniques used to explain the collective physics of interacting, many-body systems. It has been suggested that the RG formalism may be useful in finding and interpreting emergent low-dimensional structure in complex systems outside of the traditional physics context, such as in biology or computer science. In such contexts, one common dimensionality-reduction framework already in use is information bottleneck (IB), in which the goal is to compress an ``input'' signal $X$ while maximizing its mutual information with some stochastic ``relevance'' variable $Y$. IB has been applied in the vertebrate and invertebrate processing systems to characterize optimal encoding of the future motion of the external world. Other recent work has shown that the RG scheme for the dimer model could be ``discovered'' by a neural network attempting to solve an IB-like problem. This manuscript explores whether IB and any existing formulation of RG are formally equivalent. A class of soft-cutoff non-perturbative RG techniques are defined by families of non-deterministic coarsening maps, and hence can be formally mapped onto IB, and vice versa. For concreteness, this discussion is limited entirely to Gaussian statistics (GIB), for which IB has exact, closed-form solutions. Under this constraint, GIB has a semigroup structure, in which successive transformations remain IB-optimal. Further, the RG cutoff scheme associated with GIB can be identified. Our results suggest that IB can be used to impose a notion of ``large scale'' structure, such as biological function, on an RG procedure.

연구 동기 및 목표

• 정보 볼팅(IB)과 양자군집화 그룹(RG) 프레임워크 간의 형식적 관계를 조사하는 것.
• 가우시안 통계 하에서 IB와 비임계 양자군집화 그룹(NPRG) 방법 간에 형식적 동치성이 존재하는지 확인하는 것.
• IB 라그랑주 승수 β가 RG 스케일 매개변수로 어떻게 해석되는지 규명하는 것.
• IB가 RG 절차에 '대규모 구조' 개념을 부여할 수 있는지 탐색하는 것.
• GIB가 연속적인 군집화 하에서 준군 구조를 갖는다는 것을 수립하는 것.

제안 방법

• 저자들은 비결정론적 군집화 맵을 사용하여 소프트 컷오프 NPRG 체계의 클래스를 정의한다.
• IB 목표 함수를 통해 이러한 NPRG 체계를 가우시안 IB(GIB) 형식으로 매핑한다: I(X;X̃) − βI(X̃;Y)를 최소화한다.
• 가우시안 변수의 경우 GIB 해는 해석적으로 다룰 수 있으며 최적의 군집화 맵 Pβ(˜x|x)에 대한 폐쇄형 표현식을 도출한다.
• 연속적인 GIB 변환이 최적성을 유지함을 보여줌으로써 준군 성질을 유도한다.
• NPRG 컷오프 스케일은 λi가 공분산 행렬의 고유값일 때 β = (1 − λi)−1로 규명된다.
• 임계 함수의 최적 수렴을 보장하기 위해 리티움 유형의 조절자를 사용하는 기능적 양자군집화 그룹 접근법을 사용한다.

실험 결과

연구 질문

• RQ1 가우시안 정보 볼팅과 비임계 양자군집화 그룹 방법 간에 형식적 동치성이 존재하는가?
• RQ2 IB 라그랑주 승수 β는 소프트 컷오프 체계에서 RG 스케일 매개변수로 해석될 수 있는가?
• RQ3 반복적인 군집화 하에서 GIB 프레임워크는 준군 구조를 지닌다?
• RQ4 GIB 형식은 RG 맥락에서 '대규모 구조' 개념을 어떻게 정의하는가?
• RQ5 IB 목표 함수와 NPRG 흐름 방정식 간의 명시적 매핑은 무엇인가?

주요 결과

• GIB 프레임워크는 연속적인 군집화 하에서 준군을 이룬다. 즉, IB 변환을 다중으로 적용하더라도 최적성이 유지된다.
• NPRG 컷오프 스케일은 입력 공분산 행렬의 고유값 λi일 때 β = (1 − λi)−1로 형식적으로 규명된다.
• 소프트 컷오프 NPRG 체계는 IB 형식과 등가이며, IB 목표 함수가 RG 흐름을 코딩한다.
• 가우시안 통계 하에서 GIB 해는 정확하고 폐쇄형이므로 군집화 맵의 해석적 유도가 가능하다.
• IB 라그랑주 승수 β는 압축 수준을 제어하며, NPRG 프레임워크에서 군집화 스케일에 해당한다.
• 결과는 IB를 사용하여 RG 절차에 생물학적 또는 기능적 대규모 구조를 부여할 수 있음을 시사한다.