[論文レビュー] Topos and Stacks of Deep Neural Networks

Jean‐Claude Belfiore, Daniel Bennequin|arXiv (Cornell University)|Jun 28, 2021

Topological and Geometric Data Analysis参考文献 92被引用数 4

ひとこと要約

本稿は、深層ニューラルネットワーク（DNNs）のトポス的枠組みを提案し、学習ダイナミクスを自己準同型の流れとしてモデル化する。不変構造（例：CNNs、LSTMs）はギラードスタックに対応し、内部論理による意味的機能がファイブレーションにおいて生じ、意味的情報はクイレンのモデルカテゴリにおけるホモロジー的およびホモトピー的不変量によって定量化される。

ABSTRACT

Every known artificial deep neural network (DNN) corresponds to an object in a canonical Grothendieck's topos; its learning dynamic corresponds to a flow of morphisms in this topos. Invariance structures in the layers (like CNNs or LSTMs) correspond to Giraud's stacks. This invariance is supposed to be responsible of the generalization property, that is extrapolation from learning data under constraints. The fibers represent pre-semantic categories (Culioli, Thom), over which artificial languages are defined, with internal logics, intuitionist, classical or linear (Girard). Semantic functioning of a network is its ability to express theories in such a language for answering questions in output about input data. Quantities and spaces of semantic information are defined by analogy with the homological interpretation of Shannon's entropy of P.Baudot and D.Bennequin in 2015). They generalize the measures found by Carnap and Bar-Hillel (1952). Amazingly, the above semantical structures are classified by geometric fibrant objects in a closed model category of Quillen, then they give rise to homotopical invariants of DNNs and of their semantic functioning. Intentional type theories (Martin-Loef) organize these objects and fibrations between them. Information contents and exchanges are analyzed by Grothendieck's derivators.

研究の動機と目的

• 深層ニューラルネットワーク（DNNs）の意味的機能を理解するための基礎的カテゴリー的およびトポス的枠組みを確立すること。
• DNNsにおける不変構造（例：CNNs、LSTMs）を、グローテンディークトポス内でのギラードスタックとして形式化すること。
• 意味的情報をトポス的トポス的不変量として定義し、ホモロジー的およびホモトピー的構成を用いてカーナップ＝バ＝ヒレルの測度を一般化すること。
• DNNダイナミクスを直感的論理、古典的論理、線形型理論（特にマーチン＝ローフ型理論）と結びつけ、内部論理と推論を可能にすること。
• 高階カテゴリー的構造（例：デリバトゥール、3-圏）を用いて、DNNアーキテクチャ、学習ダイナミクス、意味的情報の統一すること。

提案手法

• DNNsを自然（確率的）な自己準同型の流れとしてモデル化する、標準的なグローテンディークトポス内の動的対象として扱う。バックプロパゲーションは自己準同型の確率的流れとして解釈される。
• 不変性（例：平行移動、時間的再帰）を、スタックによって分類される群体作用として表現し、トポス理論におけるギラードのスタック理論を用いる。
• クイレンの閉じたモデルカテゴリにおけるホモロジーおよびコホホロジー構成を用いて意味的情報を定義し、シャノンのエントロピーとカーナップ＝バ＝ヒレルの測度を一般化する。
• グローテンディークのデリバトゥールを用いて、ネットワーク層間および理論間の情報交換と意味的コンテンツを分析する。
• マーチン＝ローフ型理論を用いて言語および理論のファイブレーションを整理し、内部含意が条件付き推論をモデル化する。
• 注目と関係モジュライを用いてDNNsの3-圏を構成し、スタック理論的およびファイブレーション的対象分類からホモトピー的不変量を導出する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、学習ダイナミクスを自己準同型の流れとして、どのようにグローテンディークトポス内の対象として形式的に表現できるか？
• RQ2 DNNsにおける不変構造（例：CNNs、LSTMs）のカテゴリー的およびトポス的特徴は何か？また、ギラードスタックとどのように関係するか？
• RQ3 DNNsのモデルカテゴリにおけるホモロジー的およびホモトピー的不変量として、意味的情報をどのようにホモトピー的不変量として定量化できるか？これは古典的情報測度を一般化する。
• RQ4 ファイブレーションにおける内部論理（直感的論理、古典的論理、線形論理）は、DNNsにおける意味的推論と理論形成をどのように可能にするか？
• RQ5 デリバトゥールや3-圏といった高階カテゴリー的構造は、再帰的ネットワークにおける展開、記憶、注目機構のダイナミクスをどのように捉えるか？

主な発見

• DNNのトポスは標準的にグローテンディークトポスとして特徴づけられ、学習ダイナミクスは自然（確率的）な自己準同型の流れとしてモデル化され、定理1.1で形式化されている。
• 畳み込み層や再帰層などの不変構造はギラードスタックに対応し、意味的流れのための幾何的十分条件が定理2.1で確立されている。
• クイレンの閉じたモデルカテゴリにおけるファイブレーションはDNNsの意味的構造を分類し、ファイブレーション的対象は安定な意味的構成に対応する。これは定理2.1および2.2で示されている。
• 意味的情報はモデルカテゴリにおけるホモロジーおよびコホモロジー構成を用いて定義され、トポス的不変量を通じてカーナップ＝バ＝ヒレルの測度とシャノンのエントロピーを一般化する。
• LSTMのダイナミクスは普遍的構造仮説を実現しており、一般化された記憶とブレードのような展開パターンが定理4.1で形式化されている。
• DNNsの3-圏が提唱され、注目と関係モジュライが2-自己準同型を形成し、意味的情報はグローテンディークのデリバトゥールを用いて分析されている。詳細は第5.3節に記載されている。