[论文解读] Gaussian Information Bottleneck and the Non-Perturbative Renormalization Group

Adam G. Kline, Stephanie E. Palmer|arXiv (Cornell University)|Jul 28, 2021

Quantum many-body systems参考文献 40被引用 12

一句话总结

本文通过软截断粗化映射，建立了高斯信息瓶颈（GIB）与非微扰重整化群（NPRG）方法之间的形式等价性。它证明了GIB在连续变换下构成一个半群，并在IB框架中识别出NPRG的截断尺度，使IB能够对RG流施加大尺度结构。

ABSTRACT

The renormalization group (RG) is a class of theoretical techniques used to explain the collective physics of interacting, many-body systems. It has been suggested that the RG formalism may be useful in finding and interpreting emergent low-dimensional structure in complex systems outside of the traditional physics context, such as in biology or computer science. In such contexts, one common dimensionality-reduction framework already in use is information bottleneck (IB), in which the goal is to compress an ``input'' signal $X$ while maximizing its mutual information with some stochastic ``relevance'' variable $Y$. IB has been applied in the vertebrate and invertebrate processing systems to characterize optimal encoding of the future motion of the external world. Other recent work has shown that the RG scheme for the dimer model could be ``discovered'' by a neural network attempting to solve an IB-like problem. This manuscript explores whether IB and any existing formulation of RG are formally equivalent. A class of soft-cutoff non-perturbative RG techniques are defined by families of non-deterministic coarsening maps, and hence can be formally mapped onto IB, and vice versa. For concreteness, this discussion is limited entirely to Gaussian statistics (GIB), for which IB has exact, closed-form solutions. Under this constraint, GIB has a semigroup structure, in which successive transformations remain IB-optimal. Further, the RG cutoff scheme associated with GIB can be identified. Our results suggest that IB can be used to impose a notion of ``large scale'' structure, such as biological function, on an RG procedure.

研究动机与目标

• 研究信息瓶颈（IB）与重整化群（RG）框架之间的形式关系。
• 确定在高斯统计下，IB与非微扰RG（NPRG）方法是否在形式上等价。
• 确定IB拉格朗日乘子β如何映射为RG尺度参数。
• 探讨IB是否能够对RG过程施加‘大尺度’结构的概念。
• 建立GIB在连续粗化下具有半群结构的结论。

提出的方法

• 作者通过非确定性粗化映射定义了一类软截断NPRG方案。
• 他们通过IB目标函数：最小化 I(X;X̃) − βI(X̃;Y)，将这些NPRG方案映射到高斯IB（GIB）形式。
• 对于高斯变量，GIB解是解析可处理的，可导出最优粗化映射 Pβ(˜x|x) 的闭式表达式。
• 通过证明连续GIB变换保持最优性，推导出半群性质。
• NPRG截断尺度被识别为 β = (1 − λi)−1，其中 λi 为协方差矩阵的特征值。
• 形式化方法采用功能性重整化群方法，并使用Litol型调节器，以确保阈值函数的最优收敛。

实验结果

研究问题

• RQ1 高斯信息瓶颈与非微扰重整化群方法之间是否存在形式等价性？
• RQ2 IB拉格朗日乘子β是否可被解释为软截断方案中的RG尺度参数？
• RQ3 GIB框架在重复粗化下是否支持半群结构？
• RQ4 在RG背景下，GIB形式化如何定义‘大尺度’结构的概念？
• RQ5 IB目标函数与NPRG流方程之间是否存在显式映射？

主要发现

• GIB框架在连续粗化下构成半群，意味着多次应用IB变换仍保持最优性。
• NPRG截断尺度在形式上被识别为 β = (1 − λi)−1，其中 λi 为输入协方差矩阵的特征值。
• 软截断NPRG方案与IB形式等价，IB目标函数编码了RG流。
• 在高斯统计下，GIB解是精确且闭式表达的，可实现粗化映射的解析推导。
• IB拉格朗日乘子β控制压缩程度，并在NPRG框架中对应于粗粒化的尺度。
• 结果表明，IB可用于在RG过程中施加生物学或功能性的大尺度结构。