[논문 리뷰] Spherical and Hyperbolic Toric Topology-Based Codes On Graph Embedding for Ising MRF Models: Classical and Quantum Topology Machine Learning

Vasiliy S. Usatyuk, S. I. Egorov외 1명|arXiv (Cornell University)|2023. 07. 28.

Quantum Computing Algorithms and ArchitectureComputer Science인용 수 3

한 줄 요약

이 논문은 정보 기하학을 통해 구면 및 쌍곡 평면 토릭 위상에서의 이징 마르코프 무작위 필드를 순환 및 준순환 LDPC 부호로 매핑하는 새로운 프레임워크를 제안하며, 고전적 및 양자 시스템의 통합 표현을 가능하게 한다. 이는 딥 뉴럴 네트워크 아키텍처(예: ChordMixer, Transformers)와 특정 LDPC 부호 구조 간의 직접적 동치성을 수립하며, 양자 시스템에서의 QAOA가 딥 뉴럴 네트워크의 역전파와 유사하며, 부호의 트랩핑 세트는 손실 경로의 국소 최소값과 유사하다는 것을 보여준다.

ABSTRACT

The paper introduces the application of information geometry to describe the ground states of Ising models by utilizing parity-check matrices of cyclic and quasi-cyclic codes on toric and spherical topologies. The approach establishes a connection between machine learning and error-correcting coding. This proposed approach has implications for the development of new embedding methods based on trapping sets. Statistical physics and number geometry applied for optimize error-correcting codes, leading to these embedding and sparse factorization methods. The paper establishes a direct connection between DNN architecture and error-correcting coding by demonstrating how state-of-the-art architectures (ChordMixer, Mega, Mega-chunk, CDIL, ...) from the long-range arena can be equivalent to of block and convolutional LDPC codes (Cage-graph, Repeat Accumulate). QC codes correspond to certain types of chemical elements, with the carbon element being represented by the mixed automorphism Shu-Lin-Fossorier QC-LDPC code. The connections between Belief Propagation and the Permanent, Bethe-Permanent, Nishimori Temperature, and Bethe-Hessian Matrix are elaborated upon in detail. The Quantum Approximate Optimization Algorithm (QAOA) used in the Sherrington-Kirkpatrick Ising model can be seen as analogous to the back-propagation loss function landscape in training DNNs. This similarity creates a comparable problem with TS pseudo-codeword, resembling the belief propagation method. Additionally, the layer depth in QAOA correlates to the number of decoding belief propagation iterations in the Wiberg decoding tree. Overall, this work has the potential to advance multiple fields, from Information Theory, DNN architecture design (sparse and structured prior graph topology), efficient hardware design for Quantum and Classical DPU/TPU (graph, quantize and shift register architect.) to Materials Science and beyond.

연구 동기 및 목표

• 토릭 및 구면 위상에서의 이징 모델과 오류 정정 부호, 특히 순환 및 준순환 LDPC 부호 사이의 기하학적 및 대수적 대응 관계 수립.
• 셰링턴-키르카프 이징 모델에서의 양자 약한 최적화 알고리즘(QAOA)이 딥 뉴럴 네트워크의 역전파 손실 경로와 유사함을 보여주어 고전적 및 양자 기계학습을 통합.
• 트랩핑 세트(TS(a,0) 코드어 및 TS(a,b) 가짜코드어)를 활용한 그래프 기반 부호 임bedding의 새로운 클래스 개발을 통해 다양한 데이터 유형에서의 낮은 랭크 행렬 분해 및 다양체 학습 구현.
• 희소하고 구조화된 그래프 위상(예: 케이지 그래프, 반복-누적)을 블록 및 컨volutional LDPC 부호와 연결함으로써 DNN 및 양자 프로세서의 효율적 하드웨어 설계 지원.
• 특히 주기율표의 원소들(예: 수-린-포소리어 부호를 통한 탄소)과 QC-LDPC 부호를 연결하여 물질의 물리적 및 화학적 성질을 부호 표현을 통해 모델링.

제안 방법

• 순환 및 준순환 LDPC 부호의 부호 검사 행렬을 사용해 이징 모델의 기저 상태를 정보 기하학적으로 모델링하며, 부호 구조와 에너지 최소값 간의 연결 수립.
• 토릭 및 구면 위상을 사용해 마르코프 무작위 필드(MRF)를 임bedding하며, 부호 자동형과 순환 행렬 크기가 양자 시스템의 기저 상태 수를 결정.
• 통계역학과 수학 기하학에서 유도된 트랩핑 세트(TS(a,0) 코드어 및 TS(a,b) 가짜코드어)를 최적화된 오류 정정 부호 구조로 적용.
• 그래프 동치성과 위상 임bedding을 통해 최신 DNN 아키텍처(예: ChordMixer, Mega, CDIL)를 특정 LDPC 부호 유형(Cage-그래프 및 반복-누적)으로 매핑.
• Wiberg(커버링) 디코딩 트리를 사용해 BP 소프트 디코딩을 모델링하며, QAOA 계층 깊이(p)가 BP 반복 수와 대응됨.
• PEG+ACE 및 SA+EMD 최적화를 통한 QC-LDPC 구조를 활용해 MET(Multi-Edge Type) 부호를 생성하며, 순환 행렬을 사용해 다양한 데이터 유형의 낮은 랭크 행렬 분해 가능.

Figure 1: (left) Tanner Graph of $H$ parity-check matrix (right) Multi-graph of $H_{2}$ parity-check matrix

실험 결과

연구 질문

• RQ1 구면 및 쌍곡 토릭 위상에서의 이징 모델을 순환 및 준순환 LDPC 부호로 등가로 표현할 수 있는가?
• RQ2 딥 뉴럴 네트워크의 최적화 경로(예: Transformers)와 LDPC 부호의 디코딩 과정 간의 대응 관계는 트랩핑 세트 및 가짜코드어 측면에서 어떻게 설명될 수 있는가?
• RQ3 셰링턴-키르카프 이징 모델에서의 QAOA는 얼마나 깊이 딥 뉴럴 네트워크 학습의 역전파와 유사하게 해석될 수 있으며, 이는 BP 디코딩 반복 수와 어떻게 관련되는가?
• RQ4 QC-LDPC 부호의 자동형 구조(예: 혼합형, 은닉형)는 탄소와 같은 원소의 물리적 및 화학적 성질과 어떻게 대응되는가?
• RQ5 MET QC-LDPC 부호는 다양한 데이터 유형(예: 그래프, 메쉬, 공분산 행렬)에서 기존의 분해 방법(예: Chord 프로토콜)보다 낮은 랭크 행렬 근사에서 성능을 초월할 수 있는가?

주요 결과

• 제안된 MET QC-LDPC 부호는 밀도 높은 그래프, 희소 네트워크, 표면 메쉬, 공분산 행렬을 포함한 다양한 데이터 유형에서 TSVD 및 SF Chord보다 낮은 F-노름 근사 오차를 달성.
• 'AntiAngiogenesis' 데이터셋에서, 순환 크기 L=205 및 H = (I⁰ + I² + I³ + I⁶⁵ + I⁷⁰ + I⁸⁵ + I⁹⁷ + I¹⁵⁴)를 가진 MET QC-LDPC 부호가 SF Chord보다 낮은 오차를 기록하여 더 뛰어난 분해 성능을 입증.
• 'Webkb Cornell' 데이터셋에서 MET QC-LDPC 부호가 H₂ 행렬(L=65)과 다중그래프 곱 부호 구조를 사용할 경우, SA+EMD 및 EMD 방법으로 최적화된 경우 SF Chord보다 낮은 오차 기록.
• ChordMixer 기반 DNN 아키텍처는 대부분의 데이터셋에서 SF Chord 기반 분해보다 뛰어난 성능을 보이며, 제안된 부호 기반 임bedding 방법은 다양한 데이터 모odal 간의 일반화 성능이 뛰어나다.
• 양자 이징 모델에서 QAOA 계층 깊이(p)는 Wiberg 트리에서의 BP 디코딩 반복 수와 직접 상관관계를 가지며, 이는 고전적 및 양자 최적화의 통합 프레임워크를 시사한다.
• KAM 이론 방법을 통해 유한 차원의 부호 토릭을 무한 차원 힐버트 공간에 임bedding할 수 있으며, 대칭/반대칭 파동함수를 위한 트랩핑 세트를 게이지화함으로써 양자 시스템 모델링 가능.

Figure 3: Parity-check matrix and Tanner-graph for marginalization (MAP/ML estimation)