[論文レビュー] A Closer Look at Double Backpropagation

Christian Etmann|arXiv (Cornell University)|Jun 16, 2019

Speech and Audio Processing参考文献 16被引用数 6

ひとこと要約

本稿は、ヒルバート空間におけるフレシェ微分を用いて、ニューラルネットワークにおける二重バックプロパゲーションの統一的理論的枠組みを提供する。これにより、入力微分を含む勾配ペナルティの最適化計算が可能となり、ヤコビアンノルムペナルティでは計算コストを最大で3分の1まで削減する。バッチ最適化により、ReLUベースの損失関数の不連続性が緩和され、非滑らかな勾配があるにもかかわらず安定した学習が保証される。

ABSTRACT

In recent years, an increasing number of neural network models have included derivatives with respect to inputs in their loss functions, resulting in so-called double backpropagation for first-order optimization. However, so far no general description of the involved derivatives exists. Here, we cover a wide array of special cases in a very general Hilbert space framework, which allows us to provide optimized backpropagation rules for many real-world scenarios. This includes the reduction of calculations for Frobenius-norm-penalties on Jacobians by roughly a third for locally linear activation functions. Furthermore, we provide a description of the discontinuous loss surface of ReLU networks both in the inputs and the parameters and demonstrate why the discontinuities do not pose a big problem in reality.

研究の動機と目的

• 入力微分に基づく正則化における二重バックプロパゲーションの一般的で数学的に厳密な記述を提供すること。
• 現実世界のシナリオにおける入力微分ペナルティを伴うバックプロパゲーション手順を最適化し、時間およびメモリコストを削減すること。
• 入力微分に基づく正則化下での(リーク付き)ReLUネットワークの損失関数の構造と不連続性を分析すること。
• なぜ勾配の不連続性が実際の学習を妨げないのかを説明すること、特にバッチ最適化下での挙動に注目して。

提案手法

• ヒルバート空間におけるフレシェ微分を用いて、座標に依存しない一般化されたニューラルネットワーク層の取り扱いを可能にする二重バックプロパゲーションの定式化。
• 線形作用素から連続的双線形作用素への随伴作用素理論の拡張により、全結合層、畳み込み層、局所接続層を一様にモデル化。
• ヤコビアンノルムペナルティに最適化されたバックプロパゲーションルールの導出により、局所線形活性化関数を有するネットワークでは計算複雑度を約3分の1削減。
• ネットワーク重みを固定し、1つのパラメータを変化させることで損失関数の形状を分析し、ReLUネットワークでは区分的アフィン関数としての振る舞いとジャンプ不連続性を明らかに。
• バッチ平均化を用いて滑らかにされた損失関数の形状を模擬し、最適化に対する安定化効果を示した。

実験結果

リサーチクエスチョン

• RQ1 入力微分に基づく正則化項の広範な範囲にわたる二重バックプロパゲーションを体系的に導出する方法は何か？
• RQ2 損失関数に入力微分ペナルティを含めることによる理論的および計算的影響は何か？
• RQ3 ReLUネットワークの損失関数の不連続性は最適化にどのように影響し、緩和可能か？
• RQ4 入力微分に基づく損失関数において非滑らかな勾配があるにもかかわらず、なぜバッチ最適化は安定しているのか？

主な発見

• 本稿では、局所線形活性化関数を有するネットワークにおけるヤコビアンノルムペナルティに対して、計算コストを最大で3分の1まで削減する最適化された二重バックプロパゲーションルールを導出した。
• (リーク付き)ReLUネットワークの損失関数は、入力およびパラメータの両方で不連続であり、ReLU非線形性の区分的線形性に起因するジャンプ不連続性を示す。
• 不連続性があるにもかかわらず、バッチ平均化が引き起こす「擬似滑らか化効果」のおかげで、実際の第一階層最適化が安定している。
• ノードレベルペナルティ（例：Rnode）では、バイアスに関するペナルティ項の微分がしばしば0となるが、古典的二重バックプロパゲーション（例：Rcdb）では、最終層の非ゼロ勾配のため非ゼロのまま残る。
• 提案されたヒルバート空間フレームワークにより、全結合層、畳み込み層、局所接続層を含む多様な層タイプを、連続的双線形作用素の共通的取り扱いによって統一的にバックプロパゲーション可能となった。