[論文レビュー] Limitations of the Empirical Fisher Approximation.

Frederik Künstner, Lukas Balles+1 more|arXiv (Cornell University)|May 29, 2019

Stochastic Gradient Optimization Techniques参考文献 18被引用数 18

ひとこと要約

この論文は、自然勾配法における真のフィッシャー情報行列の代理としての経験的フィッシャーの使用を疑問視している。実際の最適化において、経験的フィッシャーは2次情報を取り込むことができず、単純な問題ですら最適でない最適化行動を引き起こすことが示され、フィッシャーまたはヘッシアンを近似する条件はほとんど満たされないことが明らかになった。

ABSTRACT

Natural gradient descent, which preconditions a gradient descent update with the Fisher information matrix of the underlying statistical model, is a way to capture partial second-order information. Several highly visible works have advocated an approximation known as the empirical Fisher, drawing connections between approximate second-order methods and heuristics like Adam. We dispute this argument by showing that the empirical Fisher---unlike the Fisher---does not generally capture second-order information. We further argue that the conditions under which the empirical Fisher approaches the Fisher (and the Hessian) are unlikely to be met in practice, and that, even on simple optimization problems, the pathologies of the empirical Fisher can have undesirable effects.

研究の動機と目的

• 自然勾配降下法における経験的フィッシャーが真のフィッシャー情報行列を近似するという広く受け入れられた仮定に挑戦すること。
• いくつかの影響力のある研究が主張するように、経験的フィッシャーが信頼性を持って2次最適化情報を捉えられるかどうかを調査すること。
• Adamのような最適化アルゴリズムにおける経験的フィッシャーの実用的限界と病理的特性を特定すること。
• 経験的フィッシャーがフィッシャーまたはヘッシアンを近似する条件を明らかにし、現実の深層学習設定における実現可能性を評価すること。

提案手法

• 経験的フィッシャー、真のフィッシャー情報行列、および損失関数のヘッシアンの間の数学的関係を分析すること。
• 経験的フィッシャーが真のフィッシャーまたはヘッシアンに収束する条件を導出し、その実用的妥当性を評価すること。
• 単純な最適化問題における経験的フィッシャーの病理的挙動を示すために実験的評価を実施すること。
• 真のフィッシャーを使用する自然勾配降下法と経験的フィッシャーを使用する自然勾配降下法の挙動を対比し、性能差を強調すること。

実験結果

リサーチクエスチョン

• RQ1 経験的フィッシャーが真のフィッシャー情報行列を近似する条件は何か？
• RQ2 先行研究が主張するように、経験的フィッシャーは最適化に意味のある2次情報を取り込めるのか？
• RQ3 自然勾配降下法において、真のフィッシャーを使用する場合と経験的フィッシャーを使用する場合の最適化ダイナミクスにはどのような差があるか？
• RQ4 経験的フィッシャーがヘッシアンまたはフィッシャーを近似するための仮定は、実際の深層学習設定において現実的か？

主な発見

• 経験的フィッシャーは一般に2次情報を捉えず、真のフィッシャー情報行列とは対照的である。
• 経験的フィッシャーが真のフィッシャーまたはヘッシアンに近づく条件は、実際の状況では極めて満たされにくい。
• 単純な最適化問題ですら、経験的フィッシャーは最適化性能を劣化させる病理的挙動を示す。
• Adamのような手法における経験的フィッシャーの使用は、2次情報の捉え込みによって正当化されず、このようなヒューリスティックの理論的根拠を揺るがすものである。