[論文レビュー] Deep Neural Networks as the Semi-classical Limit of Topological Quantum Neural Networks: The problem of generalisation

Antonino Marcianò, Emanuele Zappala+6 more|arXiv (Cornell University)|Oct 25, 2022

Neural Networks and Applications被引用数 4

ひとこと要約

本稿では、深層ニューラルネットワーク（DNNs）がトポロジカル量子ニューラルネットワーク（TQNNs）の半古典的極限として出現することを提案している。一般化はトポロジカル不変量と量子経路最適化から生じる。DNNsをTQNNsの古典的極限として定式化することで、トポロジカル構造最適化を通じて一般化と過学習を説明し、DNNの挙動を原理的で実験的でない方法で解釈する枠組みを提供する。

ABSTRACT

Deep Neural Networks miss a principled model of their operation. A novel framework for supervised learning based on Topological Quantum Field Theory that looks particularly well suited for implementation on quantum processors has been recently explored. We propose using this framework to understand the problem of generalisation in Deep Neural Networks. More specifically, in this approach, Deep Neural Networks are viewed as the semi-classical limit of Topological Quantum Neural Networks. A framework of this kind explains the overfitting behavior of Deep Neural Networks during the training step and the corresponding generalisation capabilities. We explore the paradigmatic case of the perceptron, which we implement as the semiclassical limit of Topological Quantum Neural Networks. We apply a novel algorithm we developed, showing that it obtains similar results to standard neural networks, but without the need for training (optimisation).

研究の動機と目的

• 深層ニューラルネットワーク（DNNs）における一般化のための原理的モデルの欠如に取り組むこと。DNNsはしばしばブラックボックスとして扱われる。
• DNNsが高容量でありながらも一般化を示すという根本的な謎を解明すること。
• DNNsをトポロジカル量子場理論および量子ニューラルネットワーク（TQNNs）と結びつける理論的枠組みを構築すること。
• 実験的テストを超えて性能検証が可能な、非経験的で理論的根拠に基づいた一般化の説明を提供すること。
• 量子トポロジー、量子場理論、深層学習の間の橋渡しをすることで、AIの解釈可能性と信頼性を向上させること。

提案手法

• DNNsを、古典的挙動が量子経路積分から生じるトポロジカル量子ニューラルネットワーク（TQNNs）の半古典的極限としてモデル化する。
• 一般化のコアな符号化メカニズムとして、連結数、絡み数、2次元複体不変量などのトポロジカル不変量を使用する。
• TQN2C（トポロジカル量子ニューラル2複体）の経路積分表現を用いてTQNN分類器を定式化し、古典的作用を最小化することで最適な一般化を達成する。
• ヒルベルト空間次元（スピン表現）を放射周波数の類似物、データセットサイズを光子強度の類似物とみなす写真効果効果の類似性を設定する。
• 入力データから得られる双対グラフ選択を用いて、隠れ層における頂点構造を設計し、トポロジカルグラフ変換を通じてTQNN状態を進化させる。
• 量子数およびトポロジカルパラメータを最適化して経路積分を安定化させ、メトリクスパラメータを古典的極限におけるマクロな閾値として作用させる。

実験結果

リサーチクエスチョン

• RQ1 DNNsにおける一般化を、非経験的で原理的な理論的枠組みでどのように説明できるか？
• RQ2 トポロジカル不変量がニューラルネットワークにおける一般化をどのように可能にするか？
• RQ3 トポロジカル量子ニューラルネットワークの半古典的極限が、なぜDNNの挙動を再現するのか？
• RQ4 DNNsが高容量でありながらも、学習中に過学習を示しながらも、なぜ効果的に一般化できるのか？
• RQ5 Zhangらが示唆するように、一般化プロセスをモデル正則化やラベル集合次元性から分離できるか？

主な発見

• DNNsにおける一般化は、TQNNフレームワークにおいてトポロジカル不変量の最適化と量子経路選択から生じる。メトリクスや正則化パラメータとは無関係である。
• TQNNsの半古典的極限は自然にDNNの挙動を再現する。古典的経路が経路積分において優勢であるため、有限の訓練データで十分に一般化が達成できる。
• 学習中の過学習は、量子領域における非古典的経路寄与に対応し、半古典的極限では抑制される。
• 本モデルは、ラベル集合次元性に依存せずに一般化を説明でき、Zhangら（2017年）の実験的発見と整合的である。
• トポロジカル安定性を通じて一般化境界の理論的根拠を提供し、重みの複雑さではなく、トポロジカル構造が一般化を支配すると示唆する。
• データセットサイズが光子数の役割を果たし、ヒルベルト空間次元が周波数の役割を果たす写真効果効果の類似性により、一般化ダイナミクスに対する新しい物理的直感が得られる。