[論文レビュー] Exponentiated Gradient Meets Gradient Descent

Udaya Ghai, Elad Hazan+1 more|arXiv (Cornell University)|Feb 5, 2019

Sparse and Compressive Sensing Techniques参考文献 17被引用数 10

ひとこと要約

本稿では、温度パrameter βという1つのパラメータによって、加法的勾配降下法と乗法的指数型勾配更新法を統一する、新たな正則化手法であるハイバートロピーを導入する。これは長方形行列に対しスペクトル的ハイバートロピーを導出し、従来の行列手法よりもタイトなO(√(T log min{m,n}))のレグレットバウンドを達成する。多クラス学習およびニューラルネットワーク学習において、実験的に優れた性能を示す。

ABSTRACT

The (stochastic) gradient descent and the multiplicative update method are probably the most popular algorithms in machine learning. We introduce and study a new regularization which provides a unification of the additive and multiplicative updates. This regularization is derived from an hyperbolic analogue of the entropy function, which we call hypentropy. It is motivated by a natural extension of the multiplicative update to negative numbers. The hypentropy has a natural spectral counterpart which we use to derive a family of matrix-based updates that bridge gradient methods and the multiplicative method for matrices. While the latter is only applicable to positive semi-definite matrices, the spectral hypentropy method can naturally be used with general rectangular matrices. We analyze the new family of updates by deriving tight regret bounds. We study empirically the applicability of the new update for settings such as multiclass learning, in which the parameters constitute a general rectangular matrix.

研究の動機と目的

• 新たな正則化フレームワークを通じて、加法的勾配降下法と乗法的指数型勾配法を統一する。
• EG±トリックを回避するため、負の重みを直接処理できる乗法的更新法への拡張を実現する。
• 一般の長方形行列を扱えるスペクトル的ハイバートロピー正則化を構築し、既存の行列乗法的更新法の制限を克服する。
• オンライン凸最適化において、よりタイトなレグレットバウンドを達成し、行列設定における最良の既知のバウンドに一致させる。
• 多クラス学習およびニューラルネットワーク学習において、標準的勾配降下法およびp-ノルム法と比較して、実験的に優れた性能を示す。

提案手法

• ハイバートロピーを、温度パrameter βから導出される双曲的類似物として定義し、加法的および乗法的更新の間の補間を可能にする。
• 特異値の行列関数のトレースノルムとしてスペクトル的ハイバートロピーを定義し、トレースノルムまたはフロベニウスノルムに関して強い凸性を保証する。
• ハイバートロピーおよびスペクトル的ハイバートロピーに基づくミラー降下更新を導出し、勾配降下法および行列乗法的更新を一般化する。
• 逆ミラー写像を用いて更新を計算し、p = 2βに対してf(σ)i = σi^(p−1)/||σ||_p^(p−2)の形をとる。これによりp-ノルム正則化と関連づけられる。
• ニューラルネットワークの学習に、非制約的HU（ハイバートロピー更新）アルゴリズムを適用し、有効学習率η_eff = βηを用いる。
• CIFAR10を用いた多クラスおよび画像分類タスクにおいて、GD、p-ノルム、SGDと比較してHUおよびSHU（スペクトル的ハイバートロピー更新）を評価する。

実験結果

リサーチクエスチョン

• RQ1 オンライン学習において、1つの正則化フレームワークが加法的および乗法的更新を統一可能か？
• RQ2 ハイバートロピー正則化は、既存の手法と比較して、どの程度のレグレットバウンドを達成するか？
• RQ3 スペクトル的ハイバートロピーは一般の長方形行列に適用可能か？ また、既存の行列乗法的更新法と比較して、より良いレグレットバウンドを達成するか？
• RQ4 多クラス学習およびニューラルネットワーク学習におけるHUおよびSHUの実験的性能はいかがなっているか？
• RQ5 ハイバートロピー法は、勾配降下法およびp-ノルム法と比較して、スパースまたは低ランクの解を生成するか？

主な発見

• 有効学習率が小さいにもかかわらず、多クラス学習においてHUアルゴリズムは勾配降下法よりも低い分類誤差と損失を達成している。
• SHU更新はO(√(T log min{m,n}))のレグレットバウンドを達成し、Kakadeら（2012）で得られた最良の既知のバウンドに一致しており、標準的な行列乗法的更新法を上回っている。
• 多クラス学習において、SHUはGD（600よりわずかに上回る）およびp-ノルム（小さな特異値をより強く圧縮する）と比較して、より小さいトレースノルム（700）の解を生成している。
• p-ノルムアルゴリズムはSHUよりも小さな特異値をより積極的に圧縮し、より良い低ランク解を生成するが、SHUは大きな信号方向をより効果的に活用している。
• CIFAR10におけるニューラルネットワーク学習では、有効学習率βη = 0.005のHUはSGDの性能に匹敵し、より小さいβ値では重みがよりスパースになる。
• HU更新は、大きな特異値に対して指数的になり、小さな特異値に対しては線形的になる。これにより、信号の効率的活用とノイズの抑制が可能になる。