[論文レビュー] Local Propagation in Constraint-based Neural Network

Giuseppe Marra, Matteo Tiezzi+4 more|arXiv (Cornell University)|Feb 18, 2020

Neural Networks and Applications参考文献 26被引用数 6

ひとこと要約

この論文は、重み、活性化、ラグランジュ乗数の随伴空間におけるサドルポイント探索として学習を定式化する、制約に基づく訓練手法であるローカルプロパゲーション（LP）を紹介する。完全に局所的かつ並列化可能な更新を実行することで、LPは勾配消失問題を回避し、硬い制約を伴う浅いおよび深いネットワークの有効な訓練を可能にするとともに、バックプロパゲーションとの自然な接続を保ち、epsilonsensitive制約およびL1正則化によって耐性性が向上する。

ABSTRACT

In this paper we study a constraint-based representation of neural network architectures. We cast the learning problem in the Lagrangian framework and we investigate a simple optimization procedure that is well suited to fulfil the so-called architectural constraints, learning from the available supervisions. The computational structure of the proposed Local Propagation (LP) algorithm is based on the search for saddle points in the adjoint space composed of weights, neural outputs, and Lagrange multipliers. All the updates of the model variables are locally performed, so that LP is fully parallelizable over the neural units, circumventing the classic problem of gradient vanishing in deep networks. The implementation of popular neural models is described in the context of LP, together with those conditions that trace a natural connection with Backpropagation. We also investigate the setting in which we tolerate bounded violations of the architectural constraints, and we provide experimental evidence that LP is a feasible approach to train shallow and deep networks, opening the road to further investigations on more complex architectures, easily describable by constraints.

研究の動機と目的

• アーキテクチャ的制約に基づく新しいニューラルネットワーク学習フレームワークの開発を目的とし、学習のための統一的かつ原理的アプローチを提供すること。
• 深層ネットワークにおける勾配消失問題に対処するため、長時間のバックプロパゲーションチェーンを回避する完全に局所的な最適化手順を設計すること。
• 共有されたラグランジュ形式を通じて、提案手法とバックプロパゲーションとの自然な接続を確立すること。
• epsilonsensitiveおよびL1正則化形式を用いて、制約違反が有界であることを許容するネットワークの訓練可能性を調査すること。
• 制約を介して自然に表現可能な複雑なアーキテクチャの今後の探求を可能にすること。

提案手法

• アーキテクチャ的制約をニューラル方程式から導出することで、ニューラルネットワーク学習を制約付き最適化問題として定式化する。
• 制約を厳密に満たすために増大ラグランジュ法を用い、問題を重み、ニューロン出力、ラグランジュ乗数の上でのサドルポイント探索に変換する。
• ローカルプロパゲーション（LP）は、重みおよび活性化における勾配降下と、ラグランジュ乗数における勾配上昇を、各ニューラルユニットごとに完全に局所的に行う。
• アルゴリズムは、各ユニットの更新がその近隣ユニットおよび局所的乗数にのみ依存するため、グローバルな勾配依存性を回避し、本質的に並列化可能である。
• 制約違反を有界に許容するためepsilonsensitive制約を導入し、ニューロン活性化経路のスパarsityを促進するためL1正則化を組み込む。
• 複数のベンチマークで手法を検証し、LPが標準的なバックプロパゲーション性能と同等または上回ることを示した。特に正則化および許容範囲設定において顕著な優位性を示した。

実験結果

リサーチクエスチョン

• RQ1 完全に局所的な更新により勾配消失問題を回避できる制約に基づくニューラルネットワーク訓練手法を設計できるか？
• RQ2 性能および最適化ダイナミクスの観点から、提案されたローカルプロパゲーション（LP）手法は標準的なバックプロパゲーションとどのように関係し、比較されるか？
• RQ3 epsilonsensitive関数による制約違反の有界な許容が一般化性能および学習安定性に与える影響は何か？
• RQ4 L1正則化は、LPで訓練されたネットワークの性能およびスパarsityにどの程度向上効果をもたらすか？
• RQ5 LPは浅いおよび深いアーキテクチャに効果的に適用可能か？また、アーキテクチャ探索における新たな可能性を提供できるか？

主な発見

• LPは複数のUCIおよびMNISTベンチマークで競争力のある性能を達成し、平均テスト精度が標準的なバックプロパゲーションと1〜2%以内であり、正則化条件下ではしばしばそれを上回った。
• Wineデータセットでは、epsilonsensitive > 0およびL1正則化を用いたLPが98.86% ± 1.97の精度を達成し、標準的なバックプロパゲーション結果と同等またはそれを上回った。
• Dermatologyデータセットでは、L1正則化を用いたLPが98.63% ± 0.48の精度に達し、非正則化バージョンを著しく上回った。
• epsilonsensitive制約の使用は、浅いネットワーク（例：Ozoneで97.12% ± 0.13）において、厳密な制約強制（96.96% ± 0.30）よりも性能を向上させたが、深層ネットワークでは許容範囲設定に対してより感受的であった。
• L1正則化は、全データセットにわたり一貫して性能向上をもたらし、一般化性能およびモデルの解釈可能性を向上させるスパarsity誘導効果が有益であることを示唆した。
• 局所的更新構造のおかげで、バックプロパゲーションチェーンを必要とせず、ニューラルユニット全体にわたる効率的な計算が可能であるという強力な並列性を示した。