[論文レビュー] How deep learning works --The geometry of deep learning

Xiao Dong, Jiasong Wu+1 more|arXiv (Cornell University)|Oct 30, 2017

Topological and Geometric Data Analysis参考文献 29被引用数 10

ひとこと要約

本稿では、量子計算および微分同相的テンプレートマッチングとの類似性に着想を得て、深層学習のための幾何的枠組みを提案する。ニューラルネットワークをリーマン多様体上の曲線としてモデル化し、ネットワーク性能が多様体の曲率、曲線の複雑さ、構造的設計に依存することを明らかにした。この枠組みにより、CNN、ResNet、RNN、GAN などのアーキテクチャの最適化に幾何的根拠を提供する。

ABSTRACT

Why and how that deep learning works well on different tasks remains a mystery from a theoretical perspective. In this paper we draw a geometric picture of the deep learning system by finding its analogies with two existing geometric structures, the geometry of quantum computations and the geometry of the diffeomorphic template matching. In this framework, we give the geometric structures of different deep learning systems including convolutional neural networks, residual networks, recursive neural networks, recurrent neural networks and the equilibrium prapagation framework. We can also analysis the relationship between the geometrical structures and their performance of different networks in an algorithmic level so that the geometric framework may guide the design of the structures and algorithms of deep learning systems.

研究の動機と目的

• 深層学習システムがなぜ効果的に機能するかを説明する理論的幾何的枠組みを構築すること。
• ネットワークを多様体上の幾何的曲線としてモデル化することで、深層学習のシステム設計とアルゴリズム最適化のギャップを埋めること。
• CNN、ResNet、RNN、GAN などのさまざまな深層学習アーキテクチャのパフォーマンスを、それらの背後にある幾何的構造を通じて分析すること。
• 構造的複雑さ、曲率、最適化ダイナミクスと幾何的性質の関係を活用して、新しい深層学習システムの設計を導くこと。
• 均衡伝搬や生成モデルを含む多様な深層学習フレームワークを、共通の幾何的言語で統一すること。

提案手法

• 変換のリーマン多様体上に曲線 $ U(t) $ として深層学習システムをモデル化し、各点がネットワークの状態に対応する。
• ユニタリ操作（例：$ U(2^n) $）の多様体にリーマン計量を定義し、計算複雑度を測定する地図距離として定量化する。
• ネットワークの学習を幾何的最適化問題として定式化：曲線 $ U(t) $ の長さを最小化する。これは、量子計算における「自由落下」原理に類似している。
• 具体的なアーキテクチャへの適用：CNN を $ T_{CNN} $ 上の変換曲線として、ResNet を近い恒等写像の系列として、RNN をデータ空間 $ V_{RNN} $ 上のス윕ドストリングとしてモデル化する。
• GAN への拡張：生成器と判別器を $ T_{GAN} $ 内の結合された曲線として表現し、部分空間における局所的演算によって学習安定性を向上させる。
• 均衡伝搬をテンプレートマッチングにおける地図シューティングとして再解釈し、幾何的ダイナミクスを通じて暗黙的最適化と明示的バックプロパゲーションを結びつける。

実験結果

リサーチクエスチョン

• RQ1 深層学習システムは、変換のリーマン多様体上での幾何的曲線としてどのように理解できるか？
• RQ2 多様体の曲率と曲線の複雑さが、深層ニューラルネットワークのパフォーマンスに果たす役割は何か？
• RQ3 残差接続や再帰的構造といったアーキテクチャ的選択は、セグメント長やリー群構造といった幾何的性質とどのように対応するか？
• RQ4 生成モデル（LAPGAN、GRAN、InfoGAN などを含む）は、制限された複雑さを持つ結合された幾何的曲線として、どのようにして出現するか？
• RQ5 均衡伝搬は幾何的最適化プロセスとして解釈可能か？そして、これにより暗黙的学習と明示的学習フレームワークがどのように統合されるか？

主な発見

• 畳み込みニューラルネットワークのパフォーマンスは、線形複雑さ（カーネル設定）と非線形複雑さ（活性化関数）のバランスに依存し、分布が不適切な場合、深層ネットワークであっても失敗する。
• 残差ネットワークは、多数の短い近い恒等写像からなる曲線に由来する複雑さのバランスにより優れたパフォーマンスを達成しており、多様体上の有効なパス長を短くしている。
• 再帰的ニューラルネットワークは、データ多様体をス윕ドするストリングとして可視化可能であり、スタックドまたは深層LSTMは結合されたストリングを形成し、グリッドLSTMは織りなされた膜を形成する。
• 生成的対抗ネットワークは、$ T_{GAN} $ 内で二つの曲線の同時最適化としてモデル化され、LAPGANは周波数部分空間における局所的演算により複雑さを低減し、安定性を向上させる。
• InfoGAN は、クラスタレベルの構造を生成器に課すことにより、複雑さを制限し、幾何的正則化によって柔軟性を低下させ、分離性を向上させる。
• 均衡伝搬は、テンプレートマッチングにおける地図シューティングと幾何的に同等であり、暗黙的最適化と明示的バックプロパゲーションの間の自然な橋渡しを提供する。