[논문 리뷰] The Hintons in your Neural Network: a Quantum Field Theory View of Deep Learning

Roberto Bondesan, Max Welling|arXiv (Cornell University)|2021. 03. 08.

Neural Networks and Reservoir Computing인용 수 7

한 줄 요약

이 논문은 입력 신호를 양자 가우시안 상태로 모델링하여 불확실성을 인코딩하는 양자장 이론 프레임워크를 제안한다. 선형 및 비선형 신경망 레이어를 이러한 상태 위의 유니터리 연산으로 공식화하고, '힌튼'이라고 불리는 새로운 양자 입자를 기본 진동자로 식별하며, 광학 양자 하드웨어에서 양자 변형 신경망을 구현하는 데 위한 청사진을 제공한다. 이는 고전적으로 시뮬레이션 가능한 반고전적 근사치를 포함한다.

ABSTRACT

In this work we develop a quantum field theory formalism for deep learning, where input signals are encoded in Gaussian states, a generalization of Gaussian processes which encode the agent's uncertainty about the input signal. We show how to represent linear and non-linear layers as unitary quantum gates, and interpret the fundamental excitations of the quantum model as particles, dubbed ``Hintons''. On top of opening a new perspective and techniques for studying neural networks, the quantum formulation is well suited for optical quantum computing, and provides quantum deformations of neural networks that can be run efficiently on those devices. Finally, we discuss a semi-classical limit of the quantum deformed models which is amenable to classical simulation.

연구 동기 및 목표

• 입력 신호의 불확실성을 자연스럽게 통합하는 양자장 이론 형식을 개발하는 것.
• 특히 비선형성들을 포함한 고전적 신경망 구성 요소를, 가우시안 상태 위의 유니터리 양자 연산으로 매핑하는 것.
• 광학 양자 컴퓨터에서 양자 변형 신경망을 효율적으로 구현할 수 있도록 하는 것.
• 양자장 모델에서 기본 진동자로 작용하는 새로운 종류의 양자 입자인 '힌튼'을 식별하는 것.
• 고전적 시뮬레이션에 적합한 반고전적 근사치를 제공하는 것.

제안 방법

• 연속장의 유한 샘플로 입력 신호를 표현하고, 가우시안 프로세스를 일반화한 양자광학적 가우시안 상태로 모델링한다.
• 관측된 데이터 포인트로부터 양자 가우시안 프로세스의 사후분포를 베이지안 추론을 통해 계산한다.
• 가우시안 상태 위에서 압축 및 이동 연산을 통해 선형 레이어를 유니터리 변환으로 실현한다.
• 비선형 해밀토니안의 절단된 테일러 전개를 사용하여 고전적 비선형성들(예: 소프트플러스)의 양자 동치를 구성한다.
• 장 연산자에 대한 삼차 및 고차항을 포함하는 해밀토니안의 양자 시뮬레이션을 통해 비선형 연산을 실현한다.
• 상태 준비 및 유니터리 진동을 위해 비트스플리터, 위상 이동소자, 그리고 일반적인 게이트 분해를 사용하여 전체 아키텍처를 광학 양자 하드웨어에 매핑한다.

실험 결과

연구 질문

• RQ1 입력 불확실성을 통합하기 위해 딥 신경망을 체계적으로 양자장 이론 프레임워크 내에서 어떻게 공식화할 수 있는가?
• RQ2 특히 비선형성에 대해 고전적 신경망 레이어의 양자장 이론적 대응은 무엇인가?
• RQ3 광학 양자 하드웨어가 가우시안 상태 위의 유니터리 변환을 통해 신경망 연산을 효율적으로 구현할 수 있는가?
• RQ4 결과로 도출된 양자장 모델의 기본 진동자(양자)는 무엇이며, 이들은 신경망 구성 요소와 어떻게 관련이 있는가?
• RQ5 양자 변형 신경망을 어떻게 근사화할 수 있는가? 이 근사치는 고전적 시뮬레이션에 적합하면서도 핵심 구조적 특성을 유지해야 한다.

주요 결과

• 양자장 모델은 신경망 아키텍처에서 장의 기본 양자에 해당하는 새로운 기본 진동자인 '힌튼'을 도입한다.
• 모델의 선형 레이어는 가우시안 상태 위에서 이동 및 압축 변환을 통해 유니터리 연산으로 실현되며, 양자 상태의 구조를 유지한다.
• 소프트플러스와 같은 비선형성은 비선형 해밀토니안의 절단된 테일러 전개를 통해 양자 영역에서의 유니터리 진동을 가능하게 한다.
• 고전적 시뮬레이션에 적합한 반고전적 근사치가 식별되었으며, 이는 고전적 모델보다 성능적 우월성이 없더라도 검증용 테스트베드를 제공한다.
• 전체 양자 모델은 광학 양자 하드웨어가 필요하며, 비트스플리터, 위상 이동소자 등 표준 양자광학 구성 요소를 통해 실현 가능하며, 상태 준비 복잡도는 고전적 GP 추론과 동일한 O(N³) 수준이다.
• 이 프레임워크는 딥 러닝과 양자장 이론 사이에 직접적인 대응 관계를 수립하여, 양자 신경망의 새로운 이론적 기반을 제공하고 특정 추론 작업에서 양자 우위를 향한 길을 열어준다.