[論文レビュー] Unreasonable Effectiveness of Learning Neural Nets: Accessible States and Robust Ensembles.

Carlo Baldassi, Christian Borgs+5 more|arXiv (Cornell University)|May 20, 2016

Stochastic Gradient Optimization Techniques被引用数 3

ひとこと要約

本稿では、レプリカに基づくコスト関数を用いて、特に離散的重みを持つネットワークにおけるニューラルネットワーク重み空間内の密集したアクセス可能な領域を特定・標的化する、新しいフレームワークであるロバストアンサンブル（RE）を導入する。これらのロバスト領域を強化することで、多様なアルゴリズムにおいてより高速かつ信頼性の高い学習が可能となり、重み精度にほとんど依存しない顕著な性能向上が達成される。

ABSTRACT

In artificial neural networks, learning from data is a computationally demanding task in which a large number of connection weights are iteratively tuned through stochastic-gradient-based heuristic processes over a cost-function. It is not well understood how learning occurs in these systems, in particular how they avoid getting trapped in configurations with poor computational performance. Here we study the difficult case of networks with discrete weights, where the optimization landscape is very rough even for simple architectures, and provide theoretical and numerical evidence of the existence of rare---but extremely dense and accessible---regions of configurations in the network weight space. We define a novel measure, which we call the \emph{robust ensemble} (RE), which suppresses trapping by isolated configurations and amplifies the role of these dense regions. We analytically compute the RE in some exactly solvable models, and also provide a general algorithmic scheme which is straightforward to implement: define a cost-function given by a sum of a finite number of replicas of the original cost-function, with a constraint centering the replicas around a driving assignment. To illustrate this, we derive several powerful new algorithms, ranging from Markov Chains to message passing to gradient descent processes, where the algorithms target the robust dense states, resulting in substantial improvements in performance. The weak dependence on the number of precision bits of the weights leads us to conjecture that very similar reasoning applies to more conventional neural networks. Analogous algorithmic schemes can also be applied to other optimization problems.

研究の動機と目的

• 離散的重み設定における粗い最適化ランドスケープを持つ状況でも、ニューラルネットワークが悪い局所最適解に陥らない理由を理解すること。
• 効率的な学習を可能にする、まれであるが非常にアクセス可能で密集した重み空間内の領域を同定すること。
• 孤立した劣悪な設定に閉じ込められるのを抑制する汎用性の高い手法を開発すること。
• 複数の最適化パラダイムにわたる訓練性能を向上させる実用的なアルゴリズムフレームワークを設計すること。
• 正確に解けるモデルからの知見を、より広範なニューラルネットワークアーキテクチャや他の最適化問題へと拡張すること。

提案手法

• 孤立した配置を抑制し、重み空間内の密集したアクセス可能な領域を強調する新しい測度としてロバストアンサンブル（RE）を提案する。
• 元のコスト関数のレプリカの和としてコスト関数を定義し、中心の駆動割り当てを中心に安定化させる制約を課す。
• REの定式化を活用することで、勾配降下、マルコフ連鎖、メッセージパッシング手法などに適用可能な一般化されたアルゴリズムスキームを開発する。
• 正確に解けるモデルにおいてREを解析的に計算し、その理論的基盤を検証する。
• 性能が重みの精度ビット数にほとんど依存しないことの実証により、広範な適用可能性を示す。
• 複数の最適化パラダイムにわたって、新たな高性能な訓練アルゴリズムをこのフレームワークから導出する。

実験結果

リサーチクエスチョン

• RQ1 離散的重みを持つニューラルネットワークは、粗い最適化ランドスケープを持つにもかかわらず、なぜ悪い局所最適解に陥らないのか？
• RQ2 ニューラルネットワークにおける効率的学習を可能にする重み空間の構造的特性は何か？
• RQ3 重み空間内の密集したアクセス可能な領域を体系的に同定・活用することは可能か？
• RQ4 孤立した配置を抑制し、高密度領域を強調するロバストアンサンブルフレームワークをどのように構築できるか？
• RQ5 ロバストアンサンブルアプローチは、標準的なニューラルネットワークや他の最適化問題へどの程度一般化可能か？

主な発見

• 離散的重みネットワークの重み空間に極めて密集したアクセス可能な領域が存在するという事実は、悪い局所最適解を回避するメカニズムを提供する。
• ロバストアンサンブル（RE）測度は、孤立した劣悪な配置を効果的に抑制し、重み空間内の高密度領域を顕著に強調する。
• 正確に解けるモデルにおけるREの解析的計算により、その理論的妥当性とロバスト性が確認された。
• 提案されたアルゴリズムフレームワークにより、勾配降下、マルコフ連鎖、メッセージパッシングを含む複数の学習手法において顕著な性能向上が達成された。
• 性能が重み精度に弱い依存性を示すことは、同様の原理が連続的重みを持つ標準的なニューラルネットワークにも適用可能である可能性を示唆する。
• このフレームワークは一般化可能であり、ニューラルネットワークを超えた他の最適化問題へも応用可能である。