[論文レビュー] Compositional Deep Learning

Bruno Gavranović|arXiv (Cornell University)|Jul 16, 2019

Neural Networks and Applications被引用数 2

ひとこと要約

本学位論文は、畳み込みニューラルネットワークのアーキテクチャ、データ、パrameterization、最適化を固定された圏間のファンクターとして形式化する圏論的フレームワークを提案する。これにより、合成的推論が可能になる。本論文は、ペairのないデータを用いて、画像内でのオブジェクト挿入・削除を実現する新しいアーキテクチャを提案し、3つのデータセットで有望な結果を得た。これは、圏的双対性とファンクター的最適化を活用した結果である。

ABSTRACT

Neural networks have become an increasingly popular tool for solving many real-world problems. They are a general framework for differentiable optimization which includes many other machine learning approaches as special cases. In this thesis we build a category-theoretic formalism around a class of neural networks exemplified by CycleGAN. CycleGAN is a collection of neural networks, closed under composition, whose inductive bias is increased by enforcing composition invariants, i.e. cycle-consistencies. Inspired by Functorial Data Migration, we specify the interconnection of these networks using a categorical schema, and network instances as set-valued functors on this schema. We also frame neural network architectures, datasets, models, and a number of other concepts in a categorical setting and thus show a special class of functors, rather than functions, can be learned using gradient descent. We use the category-theoretic framework to conceive a novel neural network architecture whose goal is to learn the task of object insertion and object deletion in images with unpaired data. We test the architecture on three different datasets and obtain promising results.

研究の動機と目的

• アーキテクチャ、データ、パrameterization、最適化といったディープラーニングの要素を、合成的推論を可能にするために圏論を用いて形式化すること。
• 既存の合成的教師あり学習を、非教師あり学習および生成モデルへと拡張すること。
• ペアのない学習データを用いて、画像内でのオブジェクト挿入・削除を学習可能な新しいニューラルネットワークアーキテクチャを開発すること。
• ディープラーニングと圏的データベースシステムとの間の正式な対応関係を確立すること。
• ファンクターと圏的双対性を用いて、複雑なディープラーニングシステムの数学的に厳密で抽象的な基盤を提供すること。

提案手法

• ニューラルネットワークのアーキテクチャを、スキーマ圏からベクトル空間の圏へのファンクターとして表現する。
• データセットを、スキーマ圏から集合の圏へのファンクターとしてモデル化し、圏的データ処理を可能にする。
• 最適化を、集合間の関数ではなく、2つの固定された圏間のファンクターを見つけることとして再定式化する。
• パrameter-関数写像を、パrameterの圏から関数の圏へのファンクターとして用いることで、構造的推論を可能にする。
• 圏的双対性を応用して、ペアのないデータを用いた画像内オブジェクト操作のための新しいアーキテクチャを設計する。
• 合成勾配と分離された潜在空間を備えた生成的敵対的ネットワーク（StyleGANベース）フレームワークを用い、オブジェクト挿入／削除を可能にする。

実験結果

リサーチクエスチョン

• RQ1 圏論は、アーキテクチャ、データ、最適化といったディープラーニングの要素を、どのように合成的形式的記述に可能にするか？
• RQ2 ディープラーニングとデータベースシステムとの間の圏的対応関係は何か？ そして、モデル設計にどのように活用できるか？
• RQ3 圏論的フレームワークは、オブジェクト挿入・削除といった非教師あり画像操作タスクのためのニューラルネットワークの有効な学習を可能にするか？
• RQ4 固定された圏間のファンクター的最適化は、従来の集合間関数に基づく最適化とどのように異なるか？
• RQ5 ニューラルネットワークを圏的枠組みの中でファンクターとしてモデル化することで、どのような新しいインダクティブバイアスが生じるか？

主な発見

• 本論文は、ディープラーニングと圏的データベースシステムとの間に正式な対応関係を確立し、両者に共通するファンクター的構造があることを示した。
• ディープラーニングにおける最適化は、2つの固定された圏間のファンクターを見つけることとして再解釈され、モデル学習のより抽象的かつ合成的な視点を提供する。
• 提案されたアーキテクチャは、ペアのないデータを用いて、画像内でのオブジェクト挿入・削除を成功裏に学習した。これは、非教師あり画像操作の可能性を示した。
• Circles、CelebA、StyleGANの3つのデータセットにおける実験では、質的・量的両面で有望な結果が得られ、モデルは多様な画像分布に一般化した。
• 圏的フレームワークにより、ファンクター的合成と双対性を介して構造的コンponentsを分離することで、オブジェクト操作に対する原理的かつ整合的なアプローチが可能になった。
• 圏的フレームワーク内での合成勾配と分離された潜在空間の使用により、非同期的かつモジュラーな学習が可能となり、スケーラビリティと合成可能性が向上した。