[論文レビュー] Topological Approaches to Deep Learning

Gunnar Carlsson, Rickard Brüel Gabrielsson|arXiv (Cornell University)|Nov 2, 2018

Topological and Geometric Data Analysis被引用数 5

ひとこと要約

本稿では、特徴空間内の幾何的および計量的構造を活用して、マッピングに基づく構成を用いて階層的・粗い表現を生成することにより、深層ニューラルネットワークを設計するための位相的枠組みを提示する。空間的関係をネットワークアーキテクチャに組み込むことで、特にMNISTからSVHNへの分布外データに対して、訓練の効率性と一般化性能が向上することを示している。

ABSTRACT

We perform topological data analysis on the internal states of convolutional deep neural networks to develop an understanding of the computations that they perform. We apply this understanding to modify the computations so as to (a) speed up computations and (b) improve generalization from one data set of digits to another. One byproduct of the analysis is the production of a geometry on new sets of features on data sets of images, and use this observation to develop a methodology for constructing analogues of CNN's for many other geometries, including the graph structures constructed by topological data analysis.

研究の動機と目的

• 特徴空間内の幾何的および計量的情報に基づいて、ニューラルネットワークを構築するための位相的形式主義を開発すること。
• トレーニング中の内部活性化に位相的データ解析（TDA）を適用することで、深層ニューラルネットワークの解釈可能性を向上させること。
• 特徴空間の幾何構造から導かれる構造的制約を組み込むことで、分布外データにおける一般化性能を向上させること。
• マッパー・アルゴリズムとプーリング操作にインspiredされた階層的・粗い表現に基づくネットワークアーキテクチャを形式化すること。
• データの計量から得られる幾何的事前知識が、複雑または多様なデータセットにおいて収束を速め、性能を向上させることを実証すること。

提案手法

• 長さ $ l $ とストライド $ s $ で定義される被覆の族を用いて、重なりを持つビンとして特徴空間のマッパーに基づく位相的モデルを構築する。
• マルチスケールのフィルタリング処理を通じて特徴空間にマッパー構成を適用し、粗い表現の系列 $ \Gamma(0), \Gamma(1), \ldots, \Gamma(r) $ を生成する。
• 連続するマッパー・モデル間のプーリングに類似した対応 $ \mathcal{C}(\Gamma(i), \Gamma(i+1)) $ を定義することで、階層的特徴抽象化を可能にする。
• データを $ \mathbb{R}^n $ にマップするためのフィルタの積 $ F = f_{\alpha_1} \times \cdots \times f_{\alpha_n} $ を用い、被覆を適用して単体的複体表現を生成する。
• 完全な生成器 $ F^c $ と構造的生成器 $ F^s $ を組み合わせた階層的ジェネレータ・アーキテクチャを導入し、粗いマッパー・モデルを通じたマッピングを実現する。
• 被覆のスケーリングを $ l $ と $ s $ を増加させることで柔軟に可能とし、階層的抽象化のための固定倍増戦略の代替手段を提供する。

実験結果

リサーチクエスチョン

• RQ1 位相的データ解析は、トレーニング済みの深層ニューラルネットワークの内部表現に意味的な構造を明らかにできるか？
• RQ2 特徴空間の計量から導かれる幾何的事前知識は、深層学習における一般化性能をどの程度向上させられるか？
• RQ3 マッパーに基づくモデルの階層的構造を、より効率的かつ解釈可能なニューラルネットワークアーキテクチャの設計にどのように活用できるか？
• RQ4 計量に基づくアーキテクチャ的制約は、訓練時間を短縮し、分布外データにおける性能を向上させることができるか？
• RQ5 畳み込みネットワークにおける標準的なプーリングと比較して、位相的抽象化は特徴表現においてどのように異なるか？

主な発見

• ニューラルネットワークの活性化における位相的解析は、霊長類の視覚路の既知の特性および自然画像パッチに対する先行のTDA結果と整合性を示している。
• 本手法は、構造的で幾何学的認識のあるパラメータ初期化と接続性のおかげで、特に複雑なデータセットにおいて訓練速度が向上している。
• MNISTで学習しSVHNでテストする分布外データへの一般化において、標準的なCNNよりも顕著な向上が見られたが、依然として許容可能な閾値に達していない。
• 計量に基づくフィルタリングとマッパーに基づく粗い表現は、元のデータ幾何構造をよりよく捉える、より頑健な特徴表現をもたらす。
• 階層的マッパー構成により、従来のプーリングとは対照的に、数学的に明確な根拠に基づいた体系的で明確な代替手段が得られる。
• 本フレームワークは、幾何的および位相的制約を用いてニューラルネットワークを正確に指定可能であり、ネットワーク動作のより深い数学的分析を可能にする。