[論文レビュー] The global optimum of shallow neural network is attained by ridgelet transform

Sho Sonoda, Isao Ishikawa+5 more|arXiv (Cornell University)|May 19, 2018

Neural Networks and Applications参考文献 22被引用数 5

ひとこと要約

この論文は、任意の非線形活性化関数を備えた浅いニューラルネットワークの誤差逆伝播学習問題のグローバル最小値がリッジレット変換によって与えられることを証明している。無限次元ヒルバート空間における凸最適化問題に再定式化することで、リッジレットに基づく再構成を用いてグローバル最適化子の明示的な解析的表現を導出し、ニューラルネットワーク学習と積分変換の間の根本的な関係を確立している。

ABSTRACT

We prove that the global minimum of the backpropagation (BP) training problem of neural networks with an arbitrary nonlinear activation is given by the ridgelet transform. A series of computational experiments show that there exists an interesting similarity between the scatter plot of hidden parameters in a shallow neural network after the BP training and the spectrum of the ridgelet transform. By introducing a continuous model of neural networks, we reduce the training problem to a convex optimization in an infinite dimensional Hilbert space, and obtain the explicit expression of the global optimizer via the ridgelet transform.

研究の動機と目的

• 局所的最小値を越えて、浅いニューラルネットワーク学習における損失関数のグローバル構造を理解すること。
• 関数空間における変分問題に再定式化することで、誤差逆伝播法における非凸的かつ高次元の最適化問題に直面する課題を解決すること。
• 学習問題のグローバル最小化子とリッジレット変換との間の厳密な数学的関係を確立すること。
• 関数解析を用いて、パrameterizationに依存しない明示的なグローバル最適化子の表現を提供すること。
• 計算実験を通じて理論的関係を検証し、訓練済みネットワークパラメータとリッジレットスペクトルとの類似性を示すこと。

提案手法

• 誤差逆伝播学習問題を無限次元ヒルバート空間における変分最適化問題に再定式化する。
• リッジレット変換を用いて、ニューラルネットワークをリッジレット型アトムの連続的重ね合わせとして定義する。
• 随伴作用素と積分作用素を用いて、最適化問題をリッジレット変換およびその逆変換の言語で表現する。
• モア・ペンローズ逆作用素と固有値分解などの関数解析的手法を適用し、凸最適化問題を解く。
• 正則化パラメータで重み付けされたターゲット関数の逆リッジレット変換としてグローバル最小化子を導出する。
• 随伴作用素とチホノフ正則化による等価性を示すことで、解が一意的かつ最適であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 任意の非線形活性化関数を備えた浅いニューラルネットワークの学習におけるグローバル最小化子の解析的形は何か？
• RQ2 リッジレット変換は、パrameter空間における訓練済みネットワークパラメータの分布とどのように関係しているか？
• RQ3 非凸的な誤差逆伝播問題のグローバル最適解は、関数空間における凸最適化として表現可能か？
• RQ4 解はニューラルネットワークのパrameterizationに依存せず、関数解析がどのようにこれを保証するか？
• RQ5 訓練済みパラメータの散乱図とリッジレットスペクトルを結ぶ数学的メカニズムは何か？

主な発見

• 任意の非線形活性化関数を備えた浅いニューラルネットワークの誤差逆伝播学習問題のグローバル最小化子は、ターゲット関数の逆リッジレット変換として明示的に与えられる。
• リッジレット変換は、非凸最適化問題をヒルバート空間における凸問題に還元することで、パrameterizationに依存しない解析的解法を提供する。
• 計算実験により、訓練済みネットワークパラメータの散乱図とターゲット関数のリッジレットスペクトルとの間で強い視覚的および構造的類似性が示された。
• 解は一意的かつ最適であり、随伴作用素とチホノフ正則化を介して導出され、安定性と収束性が保証される。
• 理論的枠組みは、特定の関数や線形関数に限定されず、任意の非線形活性化関数に適用可能である。
• この結果により、ニューラルネットワーク学習と積分変換、特にリッジレット変換との間の深い数学的同等性が確立された。