[論文レビュー] Gaussian Information Bottleneck and the Non-Perturbative Renormalization Group

Adam G. Kline, Stephanie E. Palmer|arXiv (Cornell University)|Jul 28, 2021

Quantum many-body systems参考文献 40被引用数 12

ひとこと要約

本稿は、ソフトカットオフ粗化解析写像を介して、ガウス型情報ボトルネック（GIB）と非摂動的 renormalization group（NPRG）手法の間の形式的同等性を確立する。GIBが連続的変換の下で半群を形成することを示し、IBフレームワーク内でのNPRGカットオフスケールを同定することで、IBがRGフローに大規模構造を課すことを可能にする。

ABSTRACT

The renormalization group (RG) is a class of theoretical techniques used to explain the collective physics of interacting, many-body systems. It has been suggested that the RG formalism may be useful in finding and interpreting emergent low-dimensional structure in complex systems outside of the traditional physics context, such as in biology or computer science. In such contexts, one common dimensionality-reduction framework already in use is information bottleneck (IB), in which the goal is to compress an ``input'' signal $X$ while maximizing its mutual information with some stochastic ``relevance'' variable $Y$. IB has been applied in the vertebrate and invertebrate processing systems to characterize optimal encoding of the future motion of the external world. Other recent work has shown that the RG scheme for the dimer model could be ``discovered'' by a neural network attempting to solve an IB-like problem. This manuscript explores whether IB and any existing formulation of RG are formally equivalent. A class of soft-cutoff non-perturbative RG techniques are defined by families of non-deterministic coarsening maps, and hence can be formally mapped onto IB, and vice versa. For concreteness, this discussion is limited entirely to Gaussian statistics (GIB), for which IB has exact, closed-form solutions. Under this constraint, GIB has a semigroup structure, in which successive transformations remain IB-optimal. Further, the RG cutoff scheme associated with GIB can be identified. Our results suggest that IB can be used to impose a notion of ``large scale'' structure, such as biological function, on an RG procedure.

研究の動機と目的

• 情報ボトルネック（IB）とrenormalization group（RG）フレームワークの間の形式的関係を調査すること。
• ガウス統計のもとで、IBと非摂動的RG（NPRG）手法が形式的に同等であるかどうかを特定すること。
• IBのラグランジュ乗数βがRGスケールパラメータにどのように対応するかを同定すること。
• IBがRG手続きに「大規模」構造の概念を課せることを検討すること。
• GIBが連続的粗化解析の下で半群構造を有することを確立すること。

提案手法

• 著者らは、非決定的粗化解析写像を用いて、ソフトカットオフ型NPRGスキームのクラスを定義する。
• 彼らは、IB目的関数：minimize I(X;X̃) − βI(X̃;Y) を介して、これらのNPRGスキームをガウス型IB（GIB）形式に写像する。
• ガウス変数の場合、GIBの解は解析的に扱えるものであり、最適な粗化解析写像 Pβ(˜x|x) の閉形式表現が得られる。
• 連続的GIB変換が最適性を保つことの証明により、半群性質が導出される。
• NPRGカットオフスケールは、共分散行列の固有値 λi に対して β = (1 − λi)−1 として特定される。
• 閾値関数の最適収束を保証するため、リティム型レギュレータを用いた関数的renormalization groupアプローチが用いられる。

実験結果

リサーチクエスチョン

• RQ1 ガウス型情報ボトルネックと非摂動的renormalization group手法の間には形式的同等性があるか？
• RQ2 IBのラグランジュ乗数βは、ソフトカットオフスキームにおいてRGスケールパラメータとして解釈可能か？
• RQ3 GIBフレームワークは繰り返し粗化解析の下で半群構造を支持するか？
• RQ4 RGの文脈において、GIB形式は「大規模」構造の概念をどのように定義するか？
• RQ5 IB目的関数とNPRGフロー方程式との明示的写像関係は何か？

主な発見

• GIBフレームワークは、連続的粗化解析の下で半群を形成する。これは、IB変換を繰り返し適用しても最適性が保たれることを意味する。
• NPRGカットオフスケールは、入力共分散行列の固有値 λi に対して、形式的に β = (1 − λi)−1 として特定される。
• ソフトカットオフ型NPRGスキームはIB形式と同型であり、IB目的関数がRGフローを符号化している。
• ガウス統計のもとでは、GIBの解は正確かつ閉形式で得られ、粗化解析写像の解析的導出が可能である。
• IBのラグランジュ乗数βは圧縮の程度を制御し、NPRGフレームワーク内での粗化解析のスケールに対応する。
• 結果から、IBを用いてRG手続きに生物学的または機能的な大規模構造を課すことが可能であると考えられる。