[논문 리뷰] Quantum Walk Inspired Neural Networks for Graph-Structured Data

Stefan Dernbach, Arman Mohseni-Kabir외 3명|arXiv (Cornell University)|2018. 01. 16.

Quantum Computing Algorithms and Architecture참고 문헌 24인용 수 3

한 줄 요약

이 논문은 그래프 구조 데이터에서 확산 연산자를 학습하는 데 양자 랜덤 워크를 활용하는 새로운 그래프 신경망 아키텍처인 양자 워크 신경망(QWNNs)을 제안한다. 고전적 전이 행렬 대신 유니터리(evolution)를 통한 정보 전파를 모델링함으로써, 분자의, 생물학적이고, 온도 데이터셋에서 노드 및 그래프 회귀, 분류 작업에서 최신 기술(SOTA) 수준이거나 경쟁 가능한 성능을 달성한다. 이는 그래프 학습 분야에서 양자 기반 기법의 잠재력을 입증한다.

ABSTRACT

In recent years, new neural network architectures designed to operate on graph-structured data have pushed the state-of-the-art in the field. A large set of these architectures utilize a form of classical random walks to diffuse information. We propose quantum walk neural networks (QWNN), a novel graph neural network architecture based on quantum random walks, the quantum parallel to classical random walks. A QWNN learns a quantum walk on a graph to construct a diffusion operator which can then be applied to graph-structured data. We demonstrate the use of QWNNs on a variety of prediction tasks on graphs involving temperature, biological, and molecular datasets.

연구 동기 및 목표

• 양자 랜덤 워크에서 영감을 얻은 새로운 그래프 신경망 아키텍처를 개발하여 그래프에서의 정보 확산을 향상시키는 것.
• 양자 기반 기법이 고전적 랜덤 워크 기반 GNN보다 그래프 구조 표현 학습에서 이점이 있는지 탐색하는 것.
• 노드 회귀, 그래프 회귀, 그래프 분류를 포함한 다양한 그래프 예측 작업에서 QWNN의 성능을 평가하는 것.
• 특히 공간 복잡도와 그래프 구조 순서에 대한 민감도 측면에서 QWNN의 한계를 분석하는 것.
• 향후 양자 하드웨어에서 실행 가능한 양자 머신 러닝 모델의 기초를 마련하는 것.

제안 방법

• QWNNs는 유니터리(evolution)에 의해 지배되는 이산 시간 양자 워크를 사용하여 그래프에서의 정보 확산을 모델링하며, 고전적 전이 행렬 대신 양자 연산자를 사용한다.
• 아키텍처는 유니터리 코인 연산자와 시프트 연산자를 활용하여 다중 시간 단계에 걸쳐 그래프 노드를 따라 양자 상태를 진화시킨다.
• 양자 워크는 학습 가능한 유니터리 연산으로 매개변수화되어 있어, 네트워크가 학습 과제에 맞게 확산 과정을 적응시킬 수 있다.
• 최종 양자 워크 상태는 하류 예측 과제를 위한 그래프 표현으로 사용되는 확산 행렬을 구성하는 데 사용된다.
• 공간적 코인 구현 방식을 사용하여 각 노드의 코인을 고유한 간선 순서에 맞게 독립적으로 조정함으로써 그래프 표현에 대한 불변성을 향상시킨다.
• QWNN은 미분 가능한 손실 함수를 사용하여 역전파로 학습되며, 추론 시에 학습된 확산 행렬을 캐시할 수 있다.

실험 결과

연구 질문

• RQ1 양자 워크 기반의 확산 메커니즘이 그래프 표현 학습에서 고전적 랜덤 워크 기반 방법보다 우월한가?
• RQ2 양자 워크의 유니터리 진화가 그래프 신경망의 표현력과 일반화 능력에 어떤 영향을 미치는가?
• RQ3 QWNN은 최신 기술(SOTA) GNN에 비해 노드 수준, 그래프 수준의 회귀 및 분류 과제에서 어떤 성능 향상을 보이는가?
• RQ4 QWNN은 간선 순서 및 그래프 이somorphism 등의 구조적 변형을 어떻게 다루는가?
• RQ5 고전적 환경에서 양자 워크 레이어를 구현할 때의 계산 및 메모리 한계는 무엇인가?

주요 결과

• QM7 분자의 경우, QWNN은 원자화 에너지 예측에서 RMSE 12.52±0.91을 기록하여 GCNN(19.26±0.47)과 DCNN(15.51±1.12)를 모두 능가했다.
• PTC 및 PROTEINS 데이터셋에서 QWNN은 각각 테스트 F1-스코어 0.71±0.01과 0.85±0.06을 기록하여 GCNN 및 DCNN와 동등하거나 이를 초월했다.
• 유사도 기반 학습을 사용한 QWNN은 PROTEINS 데이터셋에서 F1-스코어 0.92±0.03을 기록하여 GCNN(0.83±0.09)과 DCNN(0.67)를 크게 능가했다.
• 그래프 회귀 과제에서의 성능 향상도 입증되었으며, QWNN(centrality)는 MAE 8.93±0.14을 기록하여 GCNN의 14.77±0.26보다 낮았다.
• 더 나은 성능에도 불구하고, QWNN은 각 노드별로 독립적인 양자 워크 시뮬레이션을 수행해야 하므로 높은 계산 비용을 유발하여 학습 시간이 증가했다.
• 완전한 확산 행렬의 공간 복잡도 O(N²dT)는 대규모 그래프에 대한 확장성에 한계를 둔다. 특히 GPU 하드웨어에서는 더욱 그러하다.