[論文レビュー] Deep Function Machines: Generalized Neural Networks for Topological Layer Expression

William H. Guss|arXiv (Cornell University)|Dec 14, 2016

Neural Networks and Applications参考文献 15被引用数 8

ひとこと要約

本稿では、連続関数空間上で動作する深層ニューラルネットワークの一般化であるデュープ・ファンクション・マシン（DFMs）を紹介する。DFMsは、離散ベクトルではなく連続関数空間を扱うことで、解像度に依存しない学習を可能にする。各層を連続領域上の積分作用素としてモデル化することにより、有界な非線形作用素の普遍的近似を達成し、トポロジーに基づいた原理的な層の設計を可能にする。RippLeNetと呼ばれる新規アーキテクチャが、コンピュータビジョン分野における解像度不変性で最先端の性能を達成した。

ABSTRACT

In this paper we propose a generalization of deep neural networks called deep function machines (DFMs). DFMs act on vector spaces of arbitrary (possibly infinite) dimension and we show that a family of DFMs are invariant to the dimension of input data; that is, the parameterization of the model does not directly hinge on the quality of the input (eg. high resolution images). Using this generalization we provide a new theory of universal approximation of bounded non-linear operators between function spaces. We then suggest that DFMs provide an expressive framework for designing new neural network layer types with topological considerations in mind. Finally, we introduce a novel architecture, RippLeNet, for resolution invariant computer vision, which empirically achieves state of the art invariance.

研究の動機と目的

• データを離散的ベクトルではなく連続関数から抽出されたサンプルとして扱う深層学習の理論的枠組みを構築すること。
• データのトポロジーと幾何学的性質が最適なニューラルネットワークアーキテクチャ設計を制約する仕組みについて、理論的理解の不足を解消すること。
• 連続関数空間を活用することで、入力の解像度に依存しないニューラルネットワークを明示的に構築すること。
• 既存の無限幅ニューラルネットワーク理論を、トポロジカルおよび幾何的制約を含む一般化に拡張すること。
• トポロジカル仮定に基づいて、明示的な性質を有する新しい層タイプ（例：WaveLayers）を導入すること。

提案手法

• 標準的なニューラルネットワークを一般化するため、離散的重み行列を実数値のニューロンインデックス上の連続的積分作用素に置き換える。
• 連続的活性化および統合フレームワークを採用し、各層が連続的インデックス空間上で積分変換を計算する。
• 誤差逆伝播の再帰的バックワードパスを、繰り返し積分を用いて定式化し、勾配計算を実現する。
• 主要な要素として、ネストされた積分を用いた逆伝播ルールの導出を行い、連続関数空間における勾配計算を可能にする。
• トポロジカル不変性を持つ連続的畳み込み型演算に基づく、新しい層タイプ（WaveLayers）を導入する。
• 理論的分析により、DFMsが関数空間間の有界非線形作用素を普遍的に近似可能であることを証明し、古典的な普遍的近似定理を拡張する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークを、表現力と学習可能性を保ちつつ、連続関数空間上で動作するように一般化できるか？
• RQ2 データのどのようなトポロジカルおよび幾何的性質が、より表現力があり不変性を持つニューラルアーキテクチャの構築を可能にするか？
• RQ3 データを連続関数としてモデル化することで、入力解像度に依存しないニューラルネットワーク層を明示的に構築できるか？
• RQ4 関数空間間の非線形作用素を普遍的に近似できる、無限次元のニューラルネットワーク一般化が存在するか？
• RQ5 畳み込み層や全結合層を超える、トポロジカル仮定から明示的な不変性と表現力を有する新しい層タイプを導出できるか？

主な発見

• DFMsは、関数空間間の有界非線形作用素に対する普遍的近似定理を新たに提示し、古典的結果を連続領域に拡張した。
• このフレームワークにより、解像度不変ニューラルネットワークの構築が可能となり、RippLeNetがコンピュータビジョン分野で最先端の不変性を達成した。
• 理論的分析により、DFMsが非線形作用素を普遍的に近似可能であることが確認され、その証明は再帰的積分による逆伝播に依存する。
• 新規の層タイプであるWaveLayersが導入され、DFMフレームワークと整合性を保ち、従来の畳み込みとは異なる誘導的バイアスを提供することが示された。
• DFMsにおける勾配計算は、数値的積分可能かつ実数値であることが証明され、導出された逆伝播アルゴリズムにより安定した学習が保証された。
• 本手法は、既存の無限幅ニューラルネットワーク理論を成功裏に一般化し、深層学習におけるトポロジカル不変性の分析に形式的言語を提供した。