[논문 리뷰] Topos and Stacks of Deep Neural Networks

Jean‐Claude Belfiore, Daniel Bennequin|arXiv (Cornell University)|2021. 06. 28.

Topological and Geometric Data Analysis참고 문헌 92인용 수 4

한 줄 요약

이 논문은 깊이 신경망(DNNs)을 그로텐디크 토포스 내의 대상으로 모델링하는 토포스 이론 프레임워크를 제안한다. 여기서 학습 동역학은 사상의 흐름으로 기술된다. 연구는 불변성 구조(CNNs, LSTMs 등)가 지라우드 스택에 대응함을 증명하며, 의미 기능은 필라션의 내부 논리에서 기인하고, 의미 정보는 퀼렌 모델 범주 내에서 호모로지 및 호모토피 불변량을 통해 정량화된다.

ABSTRACT

Every known artificial deep neural network (DNN) corresponds to an object in a canonical Grothendieck's topos; its learning dynamic corresponds to a flow of morphisms in this topos. Invariance structures in the layers (like CNNs or LSTMs) correspond to Giraud's stacks. This invariance is supposed to be responsible of the generalization property, that is extrapolation from learning data under constraints. The fibers represent pre-semantic categories (Culioli, Thom), over which artificial languages are defined, with internal logics, intuitionist, classical or linear (Girard). Semantic functioning of a network is its ability to express theories in such a language for answering questions in output about input data. Quantities and spaces of semantic information are defined by analogy with the homological interpretation of Shannon's entropy of P.Baudot and D.Bennequin in 2015). They generalize the measures found by Carnap and Bar-Hillel (1952). Amazingly, the above semantical structures are classified by geometric fibrant objects in a closed model category of Quillen, then they give rise to homotopical invariants of DNNs and of their semantic functioning. Intentional type theories (Martin-Loef) organize these objects and fibrations between them. Information contents and exchanges are analyzed by Grothendieck's derivators.

연구 동기 및 목표

• 깊이 신경망(DNNs)의 의미적 기능을 이해하기 위한 기본적인 범주론적 및 위상수학적 프레임워크를 구축하는 것.
• DNNs 내의 불변성 구조(CNNs, LSTMs 등)를 그로텐디크 토포스 내에서 지라우드 스택으로 형식화하는 것.
• 호모로지 및 호모토피 구성에 의해 일반화된 캐르나프-바힐레르 측도를 통해 의미 정보를 토포스적 위상수학적 불변량으로 정의하는 것.
• 내부 논리와 추론을 위해 DNN의 역학을 인 intuitionistic, classical, linear 유형 이론(특히 마르틴-뢰프 유형 이론)과 연결하는 것.
• 행렬 구조, 유도자 및 3-범주와 같은 고차 범주론적 구조를 통해 DNN 아키텍처, 학습 동역학, 의미 정보를 통합하는 것.

제안 방법

• 백프로파게이션을 확률적 사상 흐름으로 해석하는 바, DNNs를 표준 그로텐디크 토포스 내의 동적 대상으로 모델링한다.
• 그로텐디크의 스택 이론을 사용하여, 불변성(예: 이동, 시간적 반복)을 스택으로 분류하는 군oids 작용으로 표현한다.
• 퀄렌 닫힘 모델 범주 내에서 호모로지 및 코호몰로지 구성에 의해 의미 정보를 정의하며, 샤논 엔트로피와 캐르나프-바힐레르 측도를 일반화한다.
• 정보 교환과 네트워크 계층 및 이론 간의 의미적 내용을 분석하기 위해 그로텐디크의 유도자(derivators)를 적용한다.
• 마르틴-뢰프 유형 이론을 사용하여 언어와 이론의 필라션을 조직하며, 내부 함의가 조건부 추론을 모델링한다.
• 어텐션과 관계 모듈러스를 사용하여 DNN의 3-범주를 구성하며, 스택 이론적 및 프라임 객체 분류로부터 유도된 호모토피 불변량을 도출한다.

실험 결과

연구 질문

• RQ1 깊이 신경망은 어떻게 그로텐디크 토포스 내의 대상으로 공식화될 수 있으며, 학습 동역학은 사상의 흐름으로 어떻게 기술될 수 있는가?
• RQ2 DNNs 내의 불변성 구조(CNNs, LSTMs 등)의 범주론적 및 위상수학적 특성은 무엇이며, 지라우드 스택과 어떻게 관련되는가?
• RQ3 DNNs의 모델 범주 내에서 의미 정보는 어떻게 호모토피 불변량으로 정량화될 수 있으며, 고전적 정보 측도를 일반화하는가?
• RQ4 필라션의 내부 논리(intuitionistic, classical, linear)는 DNNs 내에서 의미 추론과 이론 형성에 어떻게 기여하는가?
• RQ5 유도자 및 3-범주와 같은 고차 범주론적 구조는 순환 네트워크의 전개, 기억, 어텐션 역학을 어떻게 포괄하는가?

주요 결과

• DNN의 토포스는 표준적으로 그로텐디크 토포스로 특성화되며, 학습 동역학은 자연적(확률적) 사상 흐름으로 모델링되며, 이는 정리 1.1에 의해 공식화되어 있다.
• 컨volutional 또는 순환 레이어와 같은 불변성 구조는 지라우드 스택에 대응하며, 의미적 흐름을 위한 기하학적 충분 조건이 정리 2.1에서 확립되어 있다.
• 퀄렌 닫힘 모델 범주 내의 필라션은 DNN의 의미적 구조를 분류하며, 프라임 객체는 안정된 의미적 구성에 대응한다. 이는 정리 2.1과 2.2에 의해 확인된다.
• 의미 정보는 모델 범주 내에서 호모로지 및 코호몰로지 구성에 의해 정의되며, 위상수학적 불변량을 통해 캐르나프-바힐레르 측도와 샤논 엔트로피를 일반화한다.
• LSTM의 동역학은 보편적 구조 가설을 실현하며, 일반적인 기억과 뱀피 레이어와 유사한 전개 패tern이 정리 4.1에서 형식화되어 있다.
• DNN의 3-범주가 제안되었으며, 어텐션과 관계 모듈러스가 2-사상으로 구성되며, 의미 정보는 그로텐디크 유도자를 통해 분석되었고, 이는 5.3절에서 상세히 기술되어 있다.