[논문 리뷰] Category Theory in Machine Learning

Dan Shiebler, Bruno Gavranović외 1명|arXiv (Cornell University)|2021. 06. 13.

Advanced Graph Neural Networks참고 문헌 75인용 수 8

한 줄 요약

이 종합 검토는 기계 학습에서 범주 이론의 응용을 종합적으로 다루며, 카르테시안 미분 범주, 마르코프 범주, 자연 변환과 같은 범주적 프레임워크를 통해 기울기 기반 학습, 확률적 모델, 그리고 동치/불변 학습을 통합하는 데 기여한다. 범주 이론이 역전파, 베이지안 추론, 기하적 딥 러닝을 이해하는 데 구성적 기초를 제공하는 방식을 보여주며, 최적화, 확률적 추론, 대칭을 고려한 신경망의 형식화와 관련된 핵심 결과를 제시한다.

ABSTRACT

Over the past two decades machine learning has permeated almost every realm of technology. At the same time, many researchers have begun using category theory as a unifying language, facilitating communication between different scientific disciplines. It is therefore unsurprising that there is a burgeoning interest in applying category theory to machine learning. We aim to document the motivations, goals and common themes across these applications. We touch on gradient-based learning, probability, and equivariant learning.

연구 동기 및 목표

• 기계 학습에서 범주 이론을 통합적 언어로 사용하는 데 점점 더 널리 쓰이는 경향을 종합하고 체계화하기 위해.
• 기울기 기반 학습, 확률적 방법, 불변/동치 학습 간의 공통 주제와 기초적인 구조를 식별하기 위해.
• 범주 이론이 복잡한 기계 학습 시스템에서 구성적 추론을 가능하게 하여, 특히 자동 미분과 확률적 추론에서의 응용을 강조하기 위해.
• 기계 학습 이론의 분열 문제를 해결하기 위해 다양한 하위 분야를 이해하는 데 통합적이고 범주론적인 프레임워크를 제공하기 위해.
• 최적화, 확률, 불변성에 대한 범주론적 시각을 통합하는 데 있어 여전히 남아 있는 과제를 식별하고, 학습 이론의 향후 방향을 제안하기 위해.

제안 방법

• 카르테시안 미분 범주를 사용하여 신경망에서 자동 미분과 역전파를 형식화하기 위해.
• 역행 미분 범주를 적용하여 기울기 계산을 범주론적 환경에서 모델링함으로써, 역전파에 대한 원칙적인 접근을 가능하게 하기 위해.
• 옵티컬과 렌즈를 사용하여 매개변수 갱신과 학습 과정을 이방향 변환으로 모델링하기 위해.
• 마르코프 범주를 활용하여 확률적 모델, 조건부 확률, 베이지안 업데이트를 범주론적 프레임워크 안에서 형식화하기 위해.
• 등변 신경망을 데이터 도메인의 대칭성을 유지하는 함자 간의 자연 변환으로 표현하기 위해.
• 전역 자연 그래프 네트워크를 도메인의 그래프 이sovomorphism와 가환성을 유지하는 자연 변환을 통해 등변 그래프 네트워크의 일반화로 도입하기 위해.

실험 결과

연구 질문

• RQ1 범주 이론은 딥 러닝에서 자동 미분과 기울기 기반 학습에 대해 어떻게 통합적이고 구성적인 기초를 제공할 수 있는가?
• RQ2 마르코프 범주는 어떤 방식으로 조건부 독립성, 조건부 확률, 베이지안 업데이트를 범주론적 환경에서 형식화할 수 있는가?
• RQ3 자연 변환과 함자를 사용하여 그래프나 다양체와 같은 데이터 도메인의 대칭성에 대해 불변 또는 동치인 신경망을 어떻게 구성할 수 있는가?
• RQ4 기울기 하강법과 베이지안 업데이트와 같은 고전적 기계 학습 알고리즘의 범주론적 일반화는 무엇이며, 이는 보편 성질과 어떻게 관련되는가?
• RQ5 범주 이론에서 칸 확장과 보편 구성이 최적의 해를 이해하는 데 더 깊이 있는 기초적 통찰을 제공할 수 있는가?

주요 결과

• 카르테시안 미분 범주는 자동 미분를 위한 합성적이고 공리적 프레임워크를 제공하여, 역전파에 대한 깔끔한 범주론적 처리를 가능하게 한다.
• 역행 미분 범주는 기울기 계산을 일반화하고 추상화하는 방식으로 형식화하여, 역전파 알고리즘의 일반화된 표현을 가능하게 한다.
• 옵티컬과 렌즈는 매개변수 갱신과 학습을 이방향 변환으로 모델링하여, 모델 훈련과 적응 과정에 대한 범주론적 시각을 제공한다.
• 마르코프 범주는 조건부 확률, 근사화, 독립성을 형식화하여, 확률 모델링과 베이지안 추론에 대한 범주론적 기초를 제공한다.
• 자연 그래프 네트워크는 그래프에 따라 다른 변환을 允허하는 자연 변환으로서의 함자 간의 변환으로 정의되며, 등변 그래프 네트워크를 일반화한다.
• 다양체 위의 게이지-등변 컨volution 신경망(예: 이코사헤드론 상의)은 내재된 기하학적 대칭성을 존중함으로써 구면 신호 학습에서 최고 성능을 달성한다.