[論文レビュー] Symmetry-invariant optimization in deep networks

Vijay Badrinarayanan, Bamdev Mishra+1 more|arXiv (Cornell University)|Nov 5, 2015

Neural Networks and Applications参考文献 23被引用数 11

ひとこと要約

本稿では、フィルタ重みに単位ノルム制約を課すか、スケール不変の計量を用いることで、深層ニューラルネットワークにおける対称性不変な確率的勾配降下法（SGD）更新を提案する。計算コストの増加なしにテスト精度を向上させ、MNISTおよびSegNetにおける実験で、バッチ正則化を併用した場合に特に顕著な性能向上を示す。これは勾配の流れの改善と重み再パラメータ化に対する不変性に起因する。

ABSTRACT

Recent works have highlighted scale invariance or symmetry that is present in the weight space of a typical deep network and the adverse effect that it has on the Euclidean gradient based stochastic gradient descent optimization. In this work, we show that these and other commonly used deep networks, such as those which use a max-pooling and sub-sampling layer, possess more complex forms of symmetry arising from scaling based reparameterization of the network weights. We then propose two symmetry-invariant gradient based weight updates for stochastic gradient descent based learning. Our empirical evidence based on the MNIST dataset shows that these updates improve the test performance without sacrificing the computational efficiency of the weight updates. We also show the results of training with one of the proposed weight updates on an image segmentation problem.

研究の動機と目的

• 深層ネットワークにおける標準的なユークリッド勾配降下法に、スケール不変性などの重み空間の対称性が及ぼす悪影響を是正すること。
• マックスプーリングとバッチ正則化を併用する一般的なアーキテクチャが、単純なスケール不変性をはるかに超える複雑な対称性を示すことを特定すること。
• 標準SGDと同等の計算コストを維持しつつ、計算的に効率的な対称性不変な重み更新ルールを開発すること。
• 分類およびセグメンテーションタスクにおける実験的評価を通じて、一般化性能および学習安定性の向上を実証すること。
• 対称性不変な更新が、より深いネットワークでさえも標準SGDを上回ることを示し、浅いがより効率的なアーキテクチャの可能性を示唆すること。

提案手法

• 2つの対称性不変なSGD更新ルールを提案：(1) フィルタ重みを単位ノルムに正規化する（UN）、および (2) ブロック対角のフィッシャー情報近似に基づくスケール不変計量を用いた更新（SM）。
• 損失関数を保存する再パラメータ化に対して不変であることを保証するため、重み多様体上の幾何学的視点を用いて更新を定式化する。
• 標準SGDフレームワークに統合し、バックプロパゲーション時に正規化または計量に基づく勾配スケーリングのみを追加することで、最小限の変更で実装可能である。
• ReLU、マックスプーリング、バッチ正則化を備えた全結合および畳み込みネットワークに適用し、SegNetのような実世界のアーキテクチャをモデル化する。
• MNISTおよびCamVidセグメンテーションデータセットで、提案された更新を実装・テストするためにMATLABのManopt最適化ライブラリを用いる。
• 一般的な学習率スケジュール（例：ボルトドライバー、指数関数的減衰）と統合し、さまざまな学習プロトコルにおける一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 マックスプーリングとバッチ正則化を併用する深層ネットワークにおいて、単純なスケール不変性をはるかに超える複雑な重み空間の対称性が最適化軌道に与える影響は何か？
• RQ2 標準SGDに適した、効果的かつ計算的に効率的な対称性不変な勾配更新を設計できるか？
• RQ3 画像分類およびセグメンテーションタスクにおいて、対称性不変な更新は標準SGDに比べて一般化性能をどの程度向上させるか？
• RQ4 フィルタに単位ノルム制約を課すことで、勾配の流れが改善され、重み再パラメータ化に対する感度が低下するか？
• RQ5 対称性不変最適化により、浅いネットワークにおける学習ダイナミクスの向上が、より深いアーキテクチャの必要性を軽減できるか？

主な発見

• 提案された対称性不変更新（SMおよびUN）は、標準SGDに比べてMNISTにおけるテスト精度を顕著に向上させ、特にUNとボルトドライバー学習率プロトコルを組み合わせた場合に平均テスト誤差が最小値を記録した。
• バッチ正則化を備えた4層のArch2ネットワークにおいて、SMおよびUNは指数関数的減衰を用いたB-SGDを上回り、テスト誤差の平均値および標準偏差ともに低い水準を達成した。
• 2層のArch1ネットワークにボルトドライバープロトコルを適用したUNの性能は、指数関数的減衰を用いた4層のArch1ネットワークに適用したB-SGDの性能を上回った。これは最適化効率の向上を示している。
• SMおよびUNの使用により、勾配のバックプロパゲーションが改善され、訓練エポックにわたる誤差軌道がより安定的かつ低く保たれた。
• CamVid画像セグメンテーションにおけるSegNetの定性的な結果から、UN更新は真値に近い高品質なセマンティックセグメンテーション予測を生成した。これは本手法の実世界応用への有効性を裏付けている。
• 対称性不変更新は、重み減衰のような追加のハイパーパrameterを導入せずとも、暗黙の正則化として機能し、性能向上をもたらす。