[論文レビュー] Learning One-hidden-layer Neural Networks under General Input Distributions

Weihao Gao, Ashok Vardhan Makkuva+2 more|arXiv (Cornell University)|Oct 9, 2018

Domain Adaptation and Few-Shot Learning参考文献 6被引用数 14

ひとこと要約

本論文は、ガウス分布に限らない一般の入力分布のもとで、1層隠れ層のニューラルネットワークにおける最適化のよい形状を持つ損失関数を設計する統一的枠組みを提案する。新しい局所尤度スコア関数推定法（LLSFE）を導入することで、確率的勾配降下法（SGD）が真のパラメータにグローバルに収束可能となり、従来の手法が非ガウス分布において形状の仮定に不一致を来すため失敗するのとは対照的である。

ABSTRACT

Significant advances have been made recently on training neural networks, where the main challenge is in solving an optimization problem with abundant critical points. However, existing approaches to address this issue crucially rely on a restrictive assumption: the training data is drawn from a Gaussian distribution. In this paper, we provide a novel unified framework to design loss functions with desirable landscape properties for a wide range of general input distributions. On these loss functions, remarkably, stochastic gradient descent theoretically recovers the true parameters with global initializations and empirically outperforms the existing approaches. Our loss function design bridges the notion of score functions with the topic of neural network optimization. Central to our approach is the task of estimating the score function from samples, which is of basic and independent interest to theoretical statistics. Traditional estimation methods (example: kernel based) fail right at the outset; we bring statistical methods of local likelihood to design a novel estimator of score functions, that provably adapts to the local geometry of the unknown density.

研究の動機と目的

• 既存のニューラルネットワーク学習手法が制限的なガウス分布の仮定に依存するという限界を解消すること。
• 一般の滑らかな入力分布のもとで、グローバルに良好な最適化形状を持つ損失関数を設計すること。
• 未知の密度関数のもとで、スコア関数（対数密度の勾配）を一貫して、幾何構造に適応する推定法を開発すること—これは形状設計にとって不可欠である。
• 提案された損失関数を用いて、確率的勾配降下法（SGD）がグローバル初期化のもとで真のネットワークパラメータをグローバルに回復できることを実現すること。

提案手法

• 入力密度の局所的幾何構造を適応的に捉える新しい局所尤度スコア関数推定法（LLSFE）を導入する。
• 入力確率密度関数（PDF）の高階微分を用いて、形状に配慮した損失関数を構築する。
• 推定されたスコア関数 $ \widehat{\mathcal{S}}_m(x) $ に依存する新しい損失関数 $ L(A) $ を設計し、好ましい最適化特性を保証する。
• グローバル初期化を用いたフルバッチ勾配降下法を採用し、改善された最適化形状を活用してネットワークを学習する。
• LLSFEを理論的損失関数と組み合わせ、実用的にな利用可能な経験的目的関数 $ \widehat{L}(A) $ を構築する。
• ガウス分布および非ガウス分布（例：ラプラス分布、ガウス混合）の両方の入力で手法を検証し、ロバスト性を示す。

実験結果

リサーチクエスチョン

• RQ1 一般の入力分布のもとで、1層隠れ層のニューラルネットワークに対して、グローバルに良好な最適化形状を持つ損失関数を設計できるか？
• RQ2 未知で非ガウス的な密度関数のもとで、標本からスコア関数（対数密度の勾配）を一貫して推定する方法は何か？
• RQ3 密度の局所的幾何構造に適応するスコア関数推定法は、カーネル法やk-NN法と比較して最適化性能を向上させるか？
• RQ4 非ガウス入力のもとで、提案された損失関数を用いた確率的勾配降下法（SGD）とグローバル初期化が、真のパラメータにグローバルに収束できるか？
• RQ5 $ G(\cdot) $ といった従来の手法（ガウス仮定のもとでのみ有効）と比較して、本手法は経験的にどのように優れているか？

主な発見

• 提案された損失関数 $ L(A) $ とLLSFE推定法を組み合わせることで、一般の入力分布（非ガウス分布も含む）のもとで、確率的勾配降下法（SGD）が真のパラメータにグローバルに収束することが可能である。
• ラプラス分布入力では、標準の $ \ell_2 $-損失とガウス固有の $ G(\cdot) $ 損失は最適でない臨界点に収束するが、$ \widehat{L}(A) $ はグローバル最小値に収束する。
• ガウス混合入力では、$ G(\cdot) $ は仮定の不一致により失敗するが、LLSFEを用いた $ \widehat{L}(A) $ はグローバル最適解に成功して到達する。
• LLSFE推定法は証明可能な一貫性を持ち、局所的密度の幾何構造に適応し、従来のカーネルベースやk-NN法よりもスコア推定で優れている。
• 経験的学習曲線から、非ガウスデータにおいて $ \widehat{L}(A) $ は $ G(\cdot) $ や $ \ell_2 $-損失よりも速く収束し、より低いパラメータ誤差に到達することが示された。
• グローバル初期化のもとでグローバル収束を達成しており、提案された設計のもとで $ \widehat{L}(A) $ の最適化形状に悪い局所的最小値が存在しないことが示された。