[論文レビュー] Spherical and Hyperbolic Toric Topology-Based Codes On Graph Embedding for Ising MRF Models: Classical and Quantum Topology Machine Learning

Vasiliy S. Usatyuk, S. I. Egorov+1 more|arXiv (Cornell University)|Jul 28, 2023

Quantum Computing Algorithms and ArchitectureComputer Science被引用数 3

ひとこと要約

本論文は、情報幾何を介して、球面的および双曲的トーラス位相におけるイジングマーコフ連鎖の、巡回および準巡回LDPC符号へのマッピングを可能にする新規フレームワークを提案する。これにより、古典的および量子系の統一的表現が実現される。深層ニューラルネットワークアーキテクチャ（例：ChordMixer、Transformers）と特定のLDPC符号構造との直接的同等性を確立し、量子系におけるQAOAがDNNにおける誤差逆伝播法に類似していることを示している。符号内のトラッピング集合は、損失関数の極小点に類似している。

ABSTRACT

The paper introduces the application of information geometry to describe the ground states of Ising models by utilizing parity-check matrices of cyclic and quasi-cyclic codes on toric and spherical topologies. The approach establishes a connection between machine learning and error-correcting coding. This proposed approach has implications for the development of new embedding methods based on trapping sets. Statistical physics and number geometry applied for optimize error-correcting codes, leading to these embedding and sparse factorization methods. The paper establishes a direct connection between DNN architecture and error-correcting coding by demonstrating how state-of-the-art architectures (ChordMixer, Mega, Mega-chunk, CDIL, ...) from the long-range arena can be equivalent to of block and convolutional LDPC codes (Cage-graph, Repeat Accumulate). QC codes correspond to certain types of chemical elements, with the carbon element being represented by the mixed automorphism Shu-Lin-Fossorier QC-LDPC code. The connections between Belief Propagation and the Permanent, Bethe-Permanent, Nishimori Temperature, and Bethe-Hessian Matrix are elaborated upon in detail. The Quantum Approximate Optimization Algorithm (QAOA) used in the Sherrington-Kirkpatrick Ising model can be seen as analogous to the back-propagation loss function landscape in training DNNs. This similarity creates a comparable problem with TS pseudo-codeword, resembling the belief propagation method. Additionally, the layer depth in QAOA correlates to the number of decoding belief propagation iterations in the Wiberg decoding tree. Overall, this work has the potential to advance multiple fields, from Information Theory, DNN architecture design (sparse and structured prior graph topology), efficient hardware design for Quantum and Classical DPU/TPU (graph, quantize and shift register architect.) to Materials Science and beyond.

研究の動機と目的

• トーラスおよび球面的位相におけるイジングモデルと、特に巡回および準巡回LDPC符号との間の幾何的・代数的対応関係を確立すること。
• シャーリングトン＝キルパトリックのイジングモデルにおける量子近似最適化アルゴリズム（QAOA）が深層ニューラルネットワークにおける誤差逆伝播法の損失関数の極小点と類似していることを示し、古典的および量子機械学習を統合すること。
• トラッピング集合（TS(a,0)符号語およびTS(a,b)擬符号語）を用いたグラフベースの符号埋め込みの新クラスを構築し、多様なデータタイプにおける低ランク行列因子分解および多様体学習を実現すること。
• スパースで構造化されたグラフ位相（例：Cageグラフ、リピートアキュムレート）とブロックおよび畳み込み型LDPC符号とを結びつけることで、DNNおよび量子プロセッサの効率的ハードウェア設計を可能にすること。
• 特に周期表の要素（例：シュウ＝リン＝フォッサーリエ符号による炭素）とQC-LDPC符号を結びつけることで、物質の物理的および化学的性質を符号表現を用いてモデル化すること。

提案手法

• 巡回および準巡回LDPC符号のパリティ検査行列を用いて、情報幾何を活用し、イジングモデルの基底状態をモデル化し、符号構造とエネルギー極小点との関連を確立する。
• トーラスおよび球面的位相を用いて、マルコフ確率場（MRF）を埋め込み、符号の自己同型および巡回行列サイズが量子系における基底状態の数を決定することを示す。
• 統計力学および数論幾何学に基づく、最適化されたエラー訂正符号構造（トラッピング集合：TS(a,0)符号語およびTS(a,b)擬符号語）を適用する。
• グラフ同型および位相的埋め込みを介して、最先端のDNNアーキテクチャ（例：ChordMixer、Mega、CDIL）を特定のLDPC符号タイプ（Cageグラフおよびリピートアキュムレート）にマッピングする。
• Wiberg（カバー）デコーディングツリーを用いてBPソフトデコーディングをモデル化し、QAOAのレイヤー深さ（p）がBP反復回数に対応することを示す。
• PEG+ACEおよびSA+EMD最適化を用いたQC-LDPC構築法により、循環行列を有するMET（多エッジ型）符号を生成し、多様なデータタイプの低ランク行列因子分解を可能にする。

Figure 1: (left) Tanner Graph of $H$ parity-check matrix (right) Multi-graph of $H_{2}$ parity-check matrix

実験結果

リサーチクエスチョン

• RQ1 球面的および双曲的トーラス位相におけるイジングモデルを、巡回および準巡回LDPC符号を用いてどのように同等に表現できるか？
• RQ2 DNNの最適化の損失関数の極小点（例：Transformers）と、LDPC符号におけるデコーディングプロセスとの間にはどのような対応関係があるか？特にトラッピング集合および擬符号語の観点から。
• RQ3 シャーリングトン＝キルパトリックのイジングモデルにおけるQAOAは、DNN学習における誤差逆伝播法とどの程度類似しているか？また、これはBPデコーディング反復回数とどのように関連するか？
• RQ4 QC-LDPC符号の自己同型構造（例：混合型、隠れ型）は、炭素などの元素の物理的・化学的性質とどのように対応するか？
• RQ5 MET QC-LDPC符号は、多様なデータタイプ（グラフ、メッシュ、共分散行列など）における低ランク行列近似において、既存の因子分解手法（例：Chordプロトコル）を上回る性能を示せるか？

主な発見

• 提案されたMET QC-LDPC符号は、密度の高いグラフ、スパースネットワーク、表面メッシュ、共分散行列など、多様なデータタイプにおいて、TSVDおよびSF Chordよりも低いFノルム近似誤差を達成した。
• 「AntiAngiogenesis」データセットにおいて、循環行列サイズL=205およびH = (I⁰ + I² + I³ + I⁶⁵ + I⁷⁰ + I⁸⁵ + I⁹⁷ + I¹⁵⁴)を有するMET QC-LDPC符号が、SF Chordよりも低い誤差を示し、優れた因子分解性能を示した。
• 「Webkb Cornell」データセットにおいて、H₂行列（L=65）およびマルチグラフ積符号構造を有するMET QC-LDPC符号は、SA+EMDおよびEMD手法で最適化された場合、SF Chordよりも低い誤差を達成した。
• ChordMixerに基づくDNNアーキテクチャは、多数のデータセットにおいてSF Chordに基づく因子分解を上回った。提案された符号ベースの埋め込み法は、異なるデータモダリティにわたる一般化性能に優れていた。
• 量子イジングモデルにおけるQAOAのレイヤー深さ（p）は、WibergツリーにおけるBPデコーディング反復回数と直接相関しており、古典的および量子最適化の統一的フレームワークを示唆している。
• KAM理論法により、有限次元の符号付きトーラスを無限次元ヒルベルト空間に埋め込むことが可能になった。これは、対称的・反対称的波動関数のためのトラッピング集合のゲージ化を介して実現され、量子系のモデル化を可能にした。

Figure 3: Parity-check matrix and Tanner-graph for marginalization (MAP/ML estimation)