[論文レビュー] Bregman Proximal Framework for Deep Linear Neural Networks

Mahesh Chandra Mukkamala, Felix Westerkamp+3 more|arXiv (Cornell University)|Oct 8, 2019

Sparse and Compressive Sensing Techniques参考文献 33被引用数 5

ひとこと要約

本稿では、二乗損失を伴う深層線形ニューラルネットワークの学習に特化した、新たなブレグマン距離を導入し、Bregman Proximal Gradient (BPG)およびCoCaIn BPGアルゴリズムがラインサーチや段階的減少するステップサイズを必要とせずにグローバル収束を達成できるようにする。この手法は閉形式での更新を提供し、インertialパラメータの効率的な設定を可能とし、特に正則化を伴う状況において、ユークリッド距離に基づく手法よりも優れた性能を示す。

ABSTRACT

A typical assumption for the analysis of first order optimization methods is the Lipschitz continuity of the gradient of the objective function. However, for many practical applications this assumption is violated, including loss functions in deep learning. To overcome this issue, certain extensions based on generalized proximity measures known as Bregman distances were introduced. This initiated the development of the Bregman proximal gradient (BPG) algorithm and an inertial variant (momentum based) CoCaIn BPG, which however rely on problem dependent Bregman distances. In this paper, we develop Bregman distances for using BPG methods to train Deep Linear Neural Networks. The main implications of our results are strong convergence guarantees for these algorithms. We also propose several strategies for their efficient implementation, for example, closed form updates and a closed form expression for the inertial parameter of CoCaIn BPG. Moreover, the BPG method requires neither diminishing step sizes nor line search, unlike its corresponding Euclidean version. We numerically illustrate the competitiveness of the proposed methods compared to existing state of the art schemes.

研究の動機と目的

• 勾配のリプシッツ連続性に欠ける深層学習の目的関数における、標準的なプロキシマル勾配法の不適切さを是正すること。
• 二乗損失を伴う深層線形ニューラルネットワークに適した問題特有のブレグマン距離を構築すること。
• 非滑らかで非凸な深層学習設定において、ブレグマンプロキシマルアルゴリズムのグローバル収束保証を可能にすること。
• 閉形式での更新と新規のインエーシェントパラメータ戦略を用いた、効率的な実装を提供すること。
• BPGに基づく手法が、深層線形ネットワークの学習において最先端の手法と同等以上の性能を示すことを実証すること。

提案手法

• 二乗損失を伴う深層線形ニューラルネットワークに特化した、新たなクラスのブレグマン距離を提案し、目的関数がL-smad（リプシッツ滑らか適応可能）であることを保証する。
• 提案されたブレグマン距離を活用して、深層線形ネットワーク問題にBregman Proximal Gradient (BPG)およびそのインertial変種であるCoCaIn BPGを適用する。
• ブレグマンプロキシマル更新の閉形式解析的表現を導出し、ラインサーチを不要とする効率的な実装を可能にする。
• CoCaIn BPGにおけるインエーシェントパラメータの閉形式表現を導入し、大規模問題における効率性を向上させる。
• BPGではバックトラッキングラインサーチの計算コストを回避するため、定数ステップサイズルールを採用する。
• L1およびL2正則化を扱えるようにフレームワークを拡張し、さまざまな設定での頑健性を示す。

実験結果

リサーチクエスチョン

• RQ1 深層線形ニューラルネットワークに特化した問題特有のブレグマン距離を構築することで、BPG法のグローバル収束を達成できるか？
• RQ2 BPGに基づくアルゴリズムは、深層線形ネットワーク学習において、ユークリッドプロキシマル手法よりも優れた性能を示せるか？
• RQ3 この設定において、CoCaIn BPGのための閉形式での更新と解析的インエーシェントパラメータを導出できるか？
• RQ4 ラインサーチや段階的減少するステップサイズを必要とせずに、BPG法が強い収束保証を維持できるか？
• RQ5 BPGに基づく手法の性能は、iPiano-WB や PALM といった最先端の手法と比較して、さまざまな正則化設定で同等かそれ以上か？

主な発見

• 提案されたブレグマン距離を用いたCoCaIn BPGは、iPiano-WB や FBSに基づく手法と比較して、収束速度が同等または優れている。特にL1正則化下で顕著である。
• L2正則化設定では、BPG、BPG-WB、およびCoCaIn BPG CFIが、FBSに基づく手法や交互アルゴリズムよりも悪い解に収束する傾向が強い。
• 正則化なしの問題では、PALM や iPALM がBPGに基づく手法を上回るが、BPG手法も競争力を持つ。
• CoCaIn BPG CFIにおける提案された閉形式インエーシェントパラメータは、特にL1正則化設定で安定性と性能を向上させる。
• CoCaIn BPG CFIは、L1正則化実験において、標準的なCoCaIn BPGを上回る優れた安定性と収束性を示した。
• 定数ステップサイズを用いたBPG法は、ラインサーチや段階的減少するステップサイズを必要とせず、静止点への強いグローバル収束を達成した。