[논문 리뷰] Deep Neural Networks as the Semi-classical Limit of Topological Quantum Neural Networks: The problem of generalisation

Antonino Marcianò, Emanuele Zappala외 6명|arXiv (Cornell University)|2022. 10. 25.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 깊이 있는 신경망(DNNs)이 위상적 양자 신경망(TQNNs)의 준고전적 극한으로서 나타나며, 일반화가 위상적 불변량과 양자 경로 최적화에 의해 발생한다고 제안한다. DNNs를 TQNNs의 고전적 극한으로 프레임워크화함으로써, 모델은 위상적 구조 최적화를 통해 일반화와 과적합을 설명하며, DNN 행동에 대한 원리적인, 경험적 요소가 없는 설명을 제공한다.

ABSTRACT

Deep Neural Networks miss a principled model of their operation. A novel framework for supervised learning based on Topological Quantum Field Theory that looks particularly well suited for implementation on quantum processors has been recently explored. We propose using this framework to understand the problem of generalisation in Deep Neural Networks. More specifically, in this approach, Deep Neural Networks are viewed as the semi-classical limit of Topological Quantum Neural Networks. A framework of this kind explains the overfitting behavior of Deep Neural Networks during the training step and the corresponding generalisation capabilities. We explore the paradigmatic case of the perceptron, which we implement as the semiclassical limit of Topological Quantum Neural Networks. We apply a novel algorithm we developed, showing that it obtains similar results to standard neural networks, but without the need for training (optimisation).

연구 동기 및 목표

• 깊이 있는 신경망(DNNs)의 일반화에 대한 원리적인 모델이 부족한 문제를 해결하기 위해, DNNs가 종종 투명한 상자로 간주되는 데서 비롯된다.
• 높은 용량과 과적합 경향에도 불구하고 DNNs가 어떻게 일반화되는지에 대한 근본적인 수수께끼를 해결하기 위해.
• DNNs를 위상적 양자장 이론과 양자 신경망(TQNNs)에 연결하는 이론적 프레임워크를 개발하기 위해.
• 모델 정규화나 레이블 집합 차원과의 분리가 가능한, 경험적 테스트를 초월해 성능 검증이 가능한, 비경험적이고 이론적으로 탄탄한 일반화 설명을 제공하기 위해.
• 양자 위상수학, 양자장 이론, 그리고 딥러닝 사이의 다리를 놓아 AI의 해석 가능성과 신뢰성을 향상시키기 위해.

제안 방법

• 고전적 행동이 양자 경로 적분에서 유도되는 바탕으로, DNNs를 위상적 양자 신경망(TQNNs)의 준고전적 극한으로 모델링한다.
• 링킹 수, 끈 얽힘 수, 2-복합체 불변량과 같은 위상적 불변량을 일반화의 핵심 인코딩 메커니즘으로 사용한다.
• TQN2C(위상적 양자 신경 2-복합체)의 경로 적분 표현을 통해 TQNN 분류기의 수식을 구성하며, 고전적 작용을 최소화하여 최적의 일반화를 달성한다.
• 힐베르트 공간 차원(스핀 표현)을 복사선 주파수 유사체로, 데이터셋 크기를 광자 강도 유사체로 간주하는 광전효과 유사론을 적용한다.
• 입력 데이터로부터 이중 그래프 선택을 통해 은닉층의 정점 구조를 구현하고, 위상적 그래프 변환을 통해 TQNN 상태를 진화시킨다.
• 양자 수와 위상적 매개변수를 최적화하여 경로 적분을 안정화시키며, 메트릭 매개변수를 고전적 극한에서의 매크로스코픽 임계값으로 작용시킨다.

실험 결과

연구 질문

• RQ1 DNNs의 일반화는 원리적이고 경험적이지 않은 이론적 프레임워크를 통해 어떻게 설명될 수 있는가?
• RQ2 위상적 불변량은 신경망에서 일반화를 가능하게 하는 데 어떤 역할을 하는가?
• RQ3 위상적 양자 신경망의 준고전적 극한이 DNN의 행동을 어떻게 재현하는가?
• RQ4 높은 용량과 학습 중 과적합 경향에도 불구하고 DNNs가 효과적으로 일반화되는 이유는 무엇인가?
• RQ5 장 등(2017)의 주장처럼 일반화 과정이 모델 정규화와 레이블 집합 차원과 분리될 수 있는가?

주요 결과

• DNNs의 일반화가 메트릭이나 정규화 매개변수의 최적화가 아니라, TQNN 프레임워크 내에서 위상적 불변량과 양자 경로 선택 최적화에 기인함을 확인하였다.
• TQNN의 준고전적 극한은 자연스럽게 DNN 행동을 재현하며, 고전적 경로가 경로 적분에서 지배함으로써 유한한 학습 데이터로도 일반화가 가능한 이유를 설명한다.
• 학습 중 과적합은 양자 영역에서의 비고전적 경로 기여에 해당하며, 이는 준고전적 극한에서 억제된다.
• 모델은 레이블 집합 차원에 의존하지 않고 일반화를 설명할 수 있으며, 장 등(2017)의 경험적 결과와 일치한다.
• 위상적 안정성에 기반한 일반화 경계의 이론적 근거를 제공하며, 일반화를 좌우하는 것은 가중치 복잡도가 아니라 위상적 구조임을 시사한다.
• 데이터셋 크기가 광자 수 역할을 하고 힐베르트 공간 차원이 주파수 역할을 하는 광전효과 유사론은 일반화 역학에 대한 새로운 물리적 직관을 제공한다.