[論文レビュー] A Differential Topological View of Challenges in Learning with Feedforward Neural Networks

Hao Shen|arXiv (Cornell University)|Nov 26, 2018

Topological and Geometric Data Analysis参考文献 39被引用数 5

ひとこと要約

本稿は、データを滑らかな多様体としてモデル化し、ネットワークを滑らかな写像の合成として扱うことで、順伝播型ニューラルネットワークのコアな課題である表現力、最適化可能性、一般化可能性を分析する微分位相的枠組みを導入する。本稿では、フルランク重み行列がデータ多様体の滑らかな埋め込みを保証すること、活性化関数の滑らかさから生じる暗黙の正則化が発生すること、そして深層ネットワークにおけるボトルネック構造が商位相からの不変表現学習を可能にすることを示している。

ABSTRACT

Among many unsolved puzzles in theories of Deep Neural Networks (DNNs), there are three most fundamental challenges that highly demand solutions, namely, expressibility, optimisability, and generalisability. Although there have been significant progresses in seeking answers using various theories, e.g. information bottleneck theory, sparse representation, statistical inference, Riemannian geometry, etc., so far there is no single theory that is able to provide solutions to all these challenges. In this work, we propose to engage the theory of differential topology to address the three problems. By modelling the dataset of interest as a smooth manifold, DNNs can be considered as compositions of smooth maps between smooth manifolds. Specifically, our work offers a differential topological view of loss landscape of DNNs, interplay between width and depth in expressibility, and regularisations for generalisability. Finally, in the setting of deep representation learning, we further apply the quotient topology to investigate the architecture of DNNs, which enables to capture nuisance factors in data with respect to a specific learning task.

研究の動機と目的

• 微分位相論を用いて深層ニューラルネットワークの根本的課題である表現力、最適化可能性、一般化可能性に取り組む。
• データセットを滑らかな多様体としてモデル化し、DNNを多様体間の滑らかな写像の合成として表現する。
• 訓練中に滑らかで退化しない表現を保証するためのフルランク重み行列の役割を調査する。
• 滑らかで単調かつリプシッツ連続な活性化関数が一般化に与える暗黙の正則化効果を分析する。
• ボトルネック構造を有する深層ネットワークアーキテクチャが、商位相を用いてどのように不変表現を学習可能にするかを調査する。

提案手法

• 入力データを滑らかな多様体としてモデル化し、順伝播型ニューラルネットワークの各層を多様体間の滑らかな写像として表現する。
• 滑らかな写像の合成を用いて、全体のDNNを入力空間から出力空間への滑らかな写像として定義する。
• 微分位相論的手法を適用して損失関数の形状を分析し、フルランク重み行列が滑らかさを保ち、退化を回避することを示す。
• 活性化関数の滑らかさとリプシッツ連続性が一般化に与える影響を分析することで、暗黙の正則化を調査する。
• 商位相を用いて、特にボトルネック構造を有する深層ネットワークにおける不変表現のモデリングを行う。
• マニフォールド埋め込みタスク（例：スイスロールから円への変形、図8字曲線）における実験を通じて理論的主張の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 微分位相論は、浅層ネットワークと比較して深層ネットワークの表現力がどのように説明できるか？
• RQ2 フルランク重み行列は損失関数の形状において滑らかで退化しない表現を保証するために果たす役割は何か？
• RQ3 滑らかで単調かつリプシッツ連続な活性化関数は、訓練済みネットワークの一般化にどのように暗黙の正則化をもたらすか？
• RQ4 深層ネットワークにおけるボトルネック構造は、どのように商位相を介して不変表現の学習を可能にするか？
• RQ5 滑らかなマニフォールドモデリングは、深層ネットワークにおける勾配ベース最適化の成功をどのように説明できるか？

主な発見

• フルランク重み行列は、DNNの写像が入力多様体を出力空間に滑らかに埋め込むことを保証し、退化を防ぐために不可欠である。
• 滑らかで単調かつリプシッツ連続な活性化関数は一般化を暗黙的に正則化し、勾配が急な（例：シグモイド関数における「a」が大きい）場合に一般化性能が悪化する傾向がある。
• ボトルネック層（5層FNN）を有する深層ネットワークは、情報損失のない浅層ネットワーク（4層FNN）と同等の一般化誤差を達成しており、幅の最小限の縮小でも不変表現学習が可能であることを示唆している。
• マニフォールド学習タスク（例：スイスロールから円への変形）における実験では、DNNが複雑な多様体を滑らかに目的多様体に変形でき、訓練中に出力軌道が連続的に変形することが確認された。
• 商位相による理論的分析から、深層アーキテクチャが不要な変動を投影することで、データ内の余分要因を自然に捉えることができることが明らかになった。
• 入力空間における対角線に沿ったネットワーク出力の滑らかな変形は、DNNがデータ多様体に対して連続的かつ微分可能な変換を実行していることを裏付けている。