[論文レビュー] Lifted Neural Networks

Armin Askari, Geoffrey Négiar+2 more|arXiv (Cornell University)|May 3, 2018

Advanced Neural Network Applications参考文献 16被引用数 14

ひとこと要約

本稿では、単調な活性化関数を凸最適化問題の解として定式化することで、前向き伝播ニューラルネットワークを再定式化する、新しいフレームワーク「リフトドニューラルネットワーク」を提案する。これにより、並列化可能で単純な部分問題に分割可能なブロック座標降下法による学習が可能になる。主な貢献は、この手法で学習された重みが、標準的なニューラルネットワークの優れた初期化を提供することであり、MNISTにおいて収束が著しく速くなり、テスト精度が向上する。特に1つのアーキテクチャでは95.8%の精度を達成した。

ABSTRACT

We describe a novel family of models of multi- layer feedforward neural networks in which the activation functions are encoded via penalties in the training problem. Our approach is based on representing a non-decreasing activation function as the argmin of an appropriate convex optimiza- tion problem. The new framework allows for algo- rithms such as block-coordinate descent methods to be applied, in which each step is composed of a simple (no hidden layer) supervised learning problem that is parallelizable across data points and/or layers. Experiments indicate that the pro- posed models provide excellent initial guesses for weights for standard neural networks. In addi- tion, the model provides avenues for interesting extensions, such as robustness against noisy in- puts and optimizing over parameters in activation functions.

研究の動機と目的

• 確率的勾配降下法を用いた標準的なニューラルネットワーク学習における収束の遅さと初期化への感受性の問題に取り組む。
• 活性化関数をモデル化するために凸緩和を活用する勾配非依存の最適化フレームワークを構築する。
• ランダムおよび構造的重み初期化手法を上回る、学習可能な初期化スキームを構築する。
• 入力ノイズへのロバストネス、活性化関数パラメータの最適化、トポロジカル制約などの新しい拡張を可能にする。

提案手法

• 各非減少活性化関数を凸またはバイコン vex 最適化問題の解（argmin）として表現し、学習目的関数に埋め込む。
• 非滑らかなニューラルネットワーク学習問題を、拡大された変数空間における滑らかで制約付きの最適化問題に変換する。
• ブロック座標降下法を用い、ネットワーク重みと活性化関連変数を交互に最適化する。各部分問題は、単純な隠れ層なしの教師あり学習タスクとなる。
• 活性化関数とその前活性化値との間の等式制約を満たすためにペナルティ項（例：l2）を適用する。
• 適切な凸定式化を用いて、ReLU、Leaky ReLU、その他の単調な活性化関数を扱えるようにフレームワークを拡張する。
• 訓練済みのリフトドネットワークの重みを、ランダムまたはヒューリスティックな初期化を回避する標準の前向き伝播ネットワークの初期化として使用する。

実験結果

リサーチクエスチョン

• RQ1 活性化関数を凸最適化問題の解として再定式化することで、深層ネットワークの勾配非依存学習が可能になるか？
• RQ2 提案されたリフトドフレームワークは、標準的なニューラルネットワークの標準初期化手法よりも優れた初期重みを提供するか？
• RQ3 リフトドモデルは、標準的な学習環境において収束を加速させ、一般化性能を向上させることができるか？
• RQ4 このフレームワークは、入力の不確実性へのロバストネスや活性化関数パラメータの最適化といった拡張をどのように可能にするか？
• RQ5 リフトドネットワークの重みは、多様なアーキテクチャやデータセットにおいて、近似的に最適な初期化として機能するか？

主な発見

• リフトドニューラルネットワークモデルは、400-200-100-50アーキテクチャを用いてMNISTデータセットで95.8%のテスト精度を達成し、さまざまな初期化手法を用いた標準ネットワークを上回った。
• 初期化として使用された場合、リフトドモデルは標準ネットワークの収束をより速くし、より高いテスト精度に到達させた。特に1つのアーキテクチャでは、最初の数エポックで最終精度の90%に達した。
• テストされたすべてのアーキテクチャと学習率において、Xavier、正規、分散スケーリング初期化手法を上回る一貫した性能を示した。
• 初期化分散に対するロバストネスが確認され、特に深層アーキテクチャでは、標準初期化と比較してテスト精度が最大10ポイント向上した。
• フレームワークは、効率的で並列化可能な学習ステップを提供し、Leaky ReLUの勾配係数などの活性化関数パラメータの最適化への原理的かつ明確な道筋を提供した。
• このアプローチは、畳み込み型および再帰型ネットワークを含む他のアーキテクチャへも一般化可能であり、ロバスト最適化やユニタリ制約などの拡張もサポートする。