[논문 리뷰] Deep Learning and Quantum Physics : A Fundamental Bridge

Yoav Levine, David Yakira외 2명|arXiv (Cornell University)|2017. 04. 05.

Quantum Computing Algorithms and Architecture인용 수 1

한 줄 요약

이 논문은 깊이 있는 컨volutional 산술 회로(Deep ConvACs)와 양자 다체계 파동함수 사이의 기본적인 등가성을 그들이 공유하는 텐서 네트워크 구조를 통해 규명하며, 양자 얽힘 측정법을 활용해 네트워크의 표현 능력을 정량화한다. 층별 채널 수가 그래프 이론적 최소 컷 분석을 통해 인도적 편향을 직접 제어함을 보여주며, 깊이 있는 네트워크 설계를 위한 원칙적인 프레임워크를 제공한다.

ABSTRACT

Deep convolutional networks have witnessed unprecedented success in various machine learning applications. Formal understanding on what makes these networks so successful is gradually unfolding, but for the most part there are still significant mysteries to unravel. The inductive bias, which reflects prior knowledge embedded in the network architecture, is one of them. In this work, we establish a fundamental connection between the fields of quantum physics and deep learning. We use this connection for asserting novel theoretical observations regarding the role that the number of channels in each layer of the convolutional network fulfills in the overall inductive bias. Specifically, we show an equivalence between the function realized by a deep convolutional arithmetic circuit (ConvAC) and a quantum many-body wave function, which relies on their common underlying tensorial structure. This facilitates the use of quantum entanglement measures as well-defined quantifiers of a deep network's expressive ability to model intricate correlation structures of its inputs. Most importantly, the construction of a deep ConvAC in terms of a Tensor Network is made available. This description enables us to carry a graph-theoretic analysis of a convolutional network, with which we demonstrate a direct control over the inductive bias of the deep network via its channel numbers, that are related to the min-cut in the underlying graph. This result is relevant to any practitioner designing a network for a specific task. We theoretically analyze ConvACs, and empirically validate our findings on more common ConvNets which involve ReLU activations and max pooling. Beyond the results described above, the description of a deep convolutional network in well-defined graph-theoretic tools and the formal connection to quantum entanglement, are two interdisciplinary bridges that are brought forth by this work.

연구 동기 및 목표

• 깊이 있는 컨볼루션 네트워크의 인도적 편향 이론적 기반을 규명하는 것.
• 텐서 네트워크 표현을 통해 딥러닝과 양자 다체계 물리학 간의 공식적 연결을 수립하는 것.
• 컨볼루션 층의 채널 수가 그래프 이론적 최소 컷 분석을 통해 인도적 편향을 제어함을 보여주는 것.
• 표현 능력과 상관관계 모델링을 바탕으로 표현 능력과 관련된 정량적이고 원칙적인 방법으로 깊이 있는 네트워크 설계를 제공하는 것.

제안 방법

• 딥러닝의 ConvAC를 텐서 네트워크로 형식화하여 양자 파동함수와 공유하는 수학적 구조를 활용하는 것.
• 양자 얽힘 측정법—예를 들어 얽힘 엔트로피—를 사용해 네트워크가 입력 상관관계를 모델링할 능력을 정량화하는 것.
• 네트워크 아키텍처를 그래프로 표현하고 최소 컷 구조를 분석하여 채널 수와 인도적 편향을 연결하는 것.
• 그래프 이론적 도구를 적용하여 채널 수가 네트워크의 표현 능력을 직접 제어함을 보여주는 것.
• ReLU와 맥스 풀링을 사용하는 표준 ConvNet에서 이론적 결과를 실증 분석을 통해 검증하는 것.
• 텐서 네트워크 프레임워크를 활용해 딥러닝 아키텍처 설계를 양자 기반 형식론과 통합하는 것.

실험 결과

연구 질문

• RQ1 깊이 있는 컨볼루션 네트워크의 각 층에서의 채널 수가 그 인도적 편향에 어떻게 영향을 미치는가?
• RQ2 깊이 있는 ConvAC와 양자 다체계 파동함수 사이의 공식적 수학적 등가성은 무엇인가?
• RQ3 양자 얽힘 측정법이 깊이 있는 네트워크의 표현 능력을 의미 있게 정량화하는 데 사용될 수 있는가?
• RQ4 깊이 있는 네트워크의 그래프 구조는 복잡한 입력 상관관계를 모델링하는 데 어떻게 관련되는가?
• RQ5 네트워크의 텐서 네트워크 그래프에 대한 최소 컷 분석이 인도적 편향을 얼마나 잘 예측할 수 있는가?

주요 결과

• 깊이 있는 ConvAC는 공유하는 텐서 네트워크 구조 덕분에 수학적으로 양자 다체계 파동함수와 등가이다.
• 양자 얽힘 측정법—예를 들어 얽힘 엔트로피—는 입력 상관관계를 모델링할 수 있는 네트워크의 표현 능력을 잘 정량화한다.
• 각 층의 채널 수는 기초가 되는 그래프의 최소 컷과의 관계를 통해 네트워크의 인도적 편향을 직접 제어한다.
• 텐서 네트워크 표현은 아키텍처 설계와 표현 능력 간의 관계를 연결하는 그래프 이론적 분석을 가능하게 한다.
• 실증적 검증을 통해 표준 ConvNet(ReLU 및 맥스 풀링 사용)에서 이론적 예측이 일관되게 확인되었으며, 제안된 프레임워크와 부합함을 보였다.
• 딥러닝과 양자 물리학 간의 공식적 연결은 깊이 있는 네트워크의 이해와 설계를 위한 새로운 다학제적 시각을 제공한다.