[論文レビュー] Estimating the Hessian by Back-propagating Curvature

James Martens, Ilya Sutskever+1 more|arXiv (Cornell University)|Jun 27, 2012

Model Reduction and Neural Networks参考文献 12被引用数 19

ひとこと要約

本稿では、計算グラフを用いて定義された微分可能関数のヘシアンを、バックプロパゲーションに基づく新しい手法である曲率伝播（CP）を紹介する。CPは、標準的なバックプロパゲーションに加えてわずか2回の勾配評価のみを追加することで、不偏でランク1のヘシアン近似を提供し、繰り返し適用することで推定精度を高め、ニューラルネットワークやスコアマッチングの応用において、対角成分および全ヘシアンの高精度な推定を実現する。

ABSTRACT

In this work we develop Curvature Propagation (CP), a general technique for efficiently computing unbiased approximations of the Hessian of any function that is computed using a computational graph. At the cost of roughly two gradient evaluations, CP can give a rank-1 approximation of the whole Hessian, and can be repeatedly applied to give increasingly precise unbiased estimates of any or all of the entries of the Hessian. Of particular interest is the diagonal of the Hessian, for which no general approach is known to exist that is both efficient and accurate. We show in experiments that CP turns out to work well in practice, giving very accurate estimates of the Hessian of neural networks, for example, with a relatively small amount of work. We also apply CP to Score Matching, where a diagonal of a Hessian plays an integral role in the Score Matching objective, and where it is usually computed exactly using inefficient algorithms which do not scale to larger and more complex models.

研究の動機と目的

• 深層学習モデルにおいて、特にその対角成分のヘシアンを効率的かつ正確に計算する手法の不足に応える。
• 計算グラフを介して定義された複雑な微分可能関数のヘシアンをスケーラブルに推定する技術を開発する。
• 正確な計算が不可能な大規模モデルにおける最適化および正則化のための高精度なヘシアン推定を可能にする。
• さまざまな機械学習目的に適用可能な汎用的ソリューションを提供し、全ヘシアンおよび対角ヘシアン推定の両方をカバーする。
• 複雑なモデルでは不正確または計算コストが高すぎるため、既存の対角ヘシアン推定手法の限界を克服する。

提案手法

• 2次微分情報を利用した、バックプロパゲーション風のアルゴリズムとして、曲率伝播（CP）を提案し、不偏なヘシアン近似を計算する。
• 平均が0で分散が1のランダムベクトルを用い、ヘシアン・ベクトル積を通じてランク1のヘシアン近似を生成する。
• ヘシアン・ベクトル積を逆方向微分法により適用し、既存のバックプロパゲーションインfraを再利用する。
• 独立したランダムベクトルを繰り返し用いてCPを適用し、ヘシアン推定の分散を低減・改善する。
• 複数のランク1近似を蓄積することで、対角成分および全ヘシアン成分の両方の推定を可能にする。
• 前方計算グラフを変更せずに、既存の計算グラフにCPを統合し、効率性を保持する。

実験結果

リサーチクエスチョン

• RQ1 標準的なバックプロパゲーションに加えて、わずか2回の追加勾配評価で、不偏で低ランクのヘシアン近似を計算できるか？
• RQ2 一般に効率的な手法が存在しない深層ニューラルネットワークにおいて、曲率伝播（CP）はヘシアンの対角成分を高精度に推定できるか？
• RQ3 スコアマッチングで使用される大規模モデルにおいて、CPは正確または近似ヘシアン計算と比較してどの程度の性能を示すか？
• RQ4 大きな次元を持つ複雑な機械学習目的に対して、CPは顕著な計算コスト増加なしに効率的に適用可能か？
• RQ5 CPを繰り返し適用することで、さまざまなモデルアーキテクチャにおいて、より高精度で安定したヘシアン推定が得られるか？

主な発見

• CPは、標準的なバックプロパゲーションに加えてわずか2回の追加勾配評価で、不偏なヘシアン推定を提供する。
• 本手法は、既存の近似手法を上回る高精度で、深層ニューラルネットワークのヘシアン対角成分を推定する。
• CPは、正確な対角ヘシアン計算が大規模モデルでは通常あまりに遅いため、スコアマッチングにおいても効率的なヘシアン計算を可能にする。
• CPを繰り返し適用することで推定の分散が低減され、追加コストを最小限に抑えつつ、より高精度なヘシアン近似が得られる。
• 実験的結果から、CPは高次元設定でも信頼性の高いヘシアン推定を生み出すことが示され、頑健性とスケーラビリティを示している。
• 本手法は一般性に富んでおり、計算グラフを介して計算されるあらゆる関数に適用可能であり、機械学習タスク全体に広く応用可能である。