[論文レビュー] A Deep Neural Network's Loss Surface Contains Every Low-dimensional Pattern

Wojciech Marian Czarnecki, Simon Osindero+2 more|arXiv (Cornell University)|Dec 16, 2019

Neural Networks and Applications参考文献 5被引用数 4

ひとこと要約

この論文は、損失関数の表面に任意の低次元の滑らかなパターンが、データセットやタスクに依存せずに埋め込まれることを示している。その根拠は、損失関数の内部に任意の目的関数を普遍的に近似可能であることを構築することにある。主な結果は、このようなパターンが埋め込まれるだけでなく、標準的な学習によって最適化可能であり、テストセットへも転送可能であり、グローバル・ミニマの近くに位置することである。

ABSTRACT

The work "Loss Landscape Sightseeing with Multi-Point Optimization" (Skorokhodov and Burtsev, 2019) demonstrated that one can empirically find arbitrary 2D binary patterns inside loss surfaces of popular neural networks. In this paper we prove that: (i) this is a general property of deep universal approximators; and (ii) this property holds for arbitrary smooth patterns, for other dimensionalities, for every dataset, and any neural network that is sufficiently deep and wide. Our analysis predicts not only the existence of all such low-dimensional patterns, but also two other properties that were observed empirically: (i) that it is easy to find these patterns; and (ii) that they transfer to other data-sets (e.g. a test-set).

研究の動機と目的

• スコロコホドフとバーツェフ（2019）が実験的に観察したように、任意の2次元バイナリパターンが深層ニューラルネットワークの損失関数表面に存在することを理論的に説明すること。
• この性質がバイナリまたは2次元パターンに限らないこと、すべての滑らかで有界な低次元パターンに拡張されることを確立すること。
• このようなパターンが、標準的な教師あり学習と同等の複雑さで最適化可能であることを示すこと。
• これらのパターンが学習データからテストデータへと転送可能であり、グローバル・ミニマの近くに埋め込めるかどうかを示すこと。
• ネットワークの入力処理関数とは独立してこのようなパターンを構築可能かどうかを調査し、モデルが幾何的正則化を「かいくぐる」ことの可能性を検討すること。

提案手法

• 固定された入力射影と学習可能なバイアス・ベクトルを持つニューラルネットワークを構築し、目的パターンを損失関数表面に符号化する。
• 普遍近似定理を用いて、パラメータ空間の$z$次元部分空間において、目的関数$\mathcal{T}: [0,1]^z \to [0,1]$を近似するサブネットワークを学習する。
• 損失関数を2つの部分に分解する：1つは主タスク（入力から出力へのマッピング）のためのもの、もう1つはパターン符号化サブネットワークのためのもので、各次元ごとに別々のヘッドを設ける。
• 損失関数$\ell$のリプシッツ連続性を活用し、学習済み損失と目的パターン$\mathcal{T}$との間の近似誤差を制限する。
• パターン符号化サブネットワークを入力処理パスとは独立して学習させ、一般化性能を保ちつつテストセットへの転送を可能にする。
• 活性化関数の滑らかさと全射性を用いて、ネットワーク幅が増加するに従い、誤差$\epsilon$が消えることを証明し、総損失$L(\mathbf{h})$が$\mathcal{T}(\mathbf{h})$を$\epsilon$以内で近似することを示す。

実験結果

リサーチクエスチョン

• RQ1 任意の滑らかで有界な低次元パターンは、十分に広く深いニューラルネットワークの損失関数表面に埋め込めるか？
• RQ2 このようなパターンの埋め込み能力は、学習データからテストデータへと一般化可能か？ もしそうなら、その理由は何か？
• RQ3 標準的な教師あり学習と同等の難易度で、このようなパターンを最適化可能か？
• RQ4 このようなパターンは、元の学習目的のグローバル・ミニマの近くに埋め込めるか？
• RQ5 ネットワークの損失関数表面の幾何学的構造を、入力レベルの性能に影響を与えずに、任意の局所的幾何的制約を満たすように操作可能か？

主な発見

• 任意の十分に広く深いニューラルネットワークの損失関数表面には、すべての滑らかで有界な低次元パターン$\mathcal{T}: [0,1]^z \to [0,1]$が含まれる。
• ネットワーク幅を増加させることで、学習済み損失と目的パターン$\mathcal{T}$との近似誤差を任意に小さくできる。これは普遍近似定理と損失関数のリプシッツ連続性による。
• 構成法により、埋め込まれたパターンは学習データからテストデータへと転送可能である。これは、パターンが入力に依存しない別個のサブネットワークに符号化されているためである。
• このようなパターンの最適化は、標準的な教師あり学習と同等の複雑さである。問題は、構築された目的関数に対する標準的なニューラルネットワークの学習に帰着される。
• この手法により、元の学習目的のグローバル・ミニマから$\epsilon$以内の位置にパターンを埋め込むことが可能であり、ネットワーク全体の性能を保ちながら行える。
• パターンは軸に平行に設定可能であり、損失関数とラベル分布$P(\mathbf{y})$が変わらなければ、入力分布の変化に対してもロバストである。