[論文レビュー] M-FAC: Efficient Matrix-Free Approximations of Second-Order Information

Elias Frantar, Eldar Kurtic+1 more|arXiv (Cornell University)|Jul 7, 2021

Stochastic Gradient Optimization Techniques参考文献 35被引用数 4

ひとこと要約

本稿では、全ヘシアン行列の保存を避けることで、計算量と記憶容量の両方を大幅に削減する線形時間アルゴリズムを用いて、経験的フィッシャー近似下での逆ヘシアン・ベクトル積（IHVP）を効率的に計算する行列非依存手法M-FACを提案する。この手法により、従来の2次最適化手法と比較して著しく低い計算コストで、ニューラルネットワークのプルーニングと最適化において最先端の結果が得られる。

ABSTRACT

Efficiently approximating local curvature information of the loss function is a key tool for optimization and compression of deep neural networks. Yet, most existing methods to approximate second-order information have high computational or storage costs, which can limit their practicality. In this work, we investigate matrix-free, linear-time approaches for estimating Inverse-Hessian Vector Products (IHVPs) for the case when the Hessian can be approximated as a sum of rank-one matrices, as in the classic approximation of the Hessian by the empirical Fisher matrix. We propose two new algorithms as part of a framework called M-FAC: the first algorithm is tailored towards network compression and can compute the IHVP for dimension $d$, if the Hessian is given as a sum of $m$ rank-one matrices, using $O(dm^2)$ precomputation, $O(dm)$ cost for computing the IHVP, and query cost $O(m)$ for any single element of the inverse Hessian. The second algorithm targets an optimization setting, where we wish to compute the product between the inverse Hessian, estimated over a sliding window of optimization steps, and a given gradient direction, as required for preconditioned SGD. We give an algorithm with cost $O(dm + m^2)$ for computing the IHVP and $O(dm + m^3)$ for adding or removing any gradient from the sliding window. These two algorithms yield state-of-the-art results for network pruning and optimization with lower computational overhead relative to existing second-order methods. Implementations are available at [9] and [17].

研究の動機と目的

• 深層ニューラルネットワークにおける2次最適化およびプルーニング手法の高い計算コストと記憶コストを低減すること。
• 大きな行列を保存せずに、経験的フィッシャー近似下での逆ヘシアン・ベクトル積（IHVP）の正確かつ効率的な計算を可能にすること。
• モデル次元dに対して線形にスケールするアルゴリズムを開発し、大規模DNNに実用的であることを目指すこと。
• 曲率に配慮した更新を用いて、ネットワークプルーニングの精度と最適化収束性を向上させること。
• CIFAR-10、GLUE、SQuADv2を含む標準ベンチマーク上での提案手法の有効性を検証すること。

提案手法

• Woodbury-Sherman-Morrisonの公式を用いて、勾配外積からなるランク1成分の和として、逆フィッシャー行列を再帰的に更新する。
• 静的アルゴリズムでは、事前計算コストがO(dm²)、IHVP計算コストがO(dm)であり、対角成分の各要素クエリコストがO(m)である。
• 動的アルゴリズムでは、m個の最近の勾配をスライディングウィンドウで維持し、O(dm + m²)のコストでIHVPを更新可能であり、勾配の追加・削除にはO(dm + m³)のコストがかかる。
• アルゴリズムはベクトルとスカラーのみを操作するため、明示的な行列の保存を回避し、モデル次元dに対して線形時間および線形空間計算量を確保する。
• 経験的フィッシャー行列がランク1行列の和として表現可能であることに着目し、再帰的更新によって正確な逆行列計算を実現する。
• 本手法は、ネットワークプルーニング（Optimal Brain Surgeon経由）および最適化におけるプリコンディショニングSGDに応用可能である。

実験結果

リサーチクエスチョン

• RQ1 全ヘシアン行列を保存せずに、経験的フィッシャー近似下でのIHVPを効率的に計算できるか？
• RQ2 行列非依存で線形時間のIHVPアルゴリズムが、ネットワークプルーニングおよび最適化において最先端の性能を達成できるか？
• RQ3 動的最適化設定における逆ヘシアンのスライディングウィンドウ近似の精度はどの程度か？
• RQ4 計算効率とモデル性能の両面で、既存の2次手法を上回るか？
• RQ5 BERTのような大規模モデルに対しても、顕著なハイパーパramータチューニングなしで効果的に適用可能か？

主な発見

• M-FACはResNet20を用いたCIFAR-10ベンチマークで、計算コストを削減しながらも、先行研究と同等または上回るプルーニング性能を達成した。
• SQuADv2ベンチマークでは、HuggingFaceのAdamベースラインを上回り、BERT-tinyでは52.18 F1（対象：49.99）、BERT-miniでは61.35 F1（対象：58.13）を達成した。
• GLUEベンチマークでも、チューニング済みのAdamWベースラインと同等または上回る性能を示し、BERT-tinyではSST-2で83.4％（対象：83.2％）の正答率、MRPCでは81.9％（対象：81.1％）のF1スコアを達成した。
• トレーニング全体を通じて、動的および静的IHVP方向間のコサイン類似度が0.95以上を維持しており、スライディングウィンドウ近似の妥当性が裏付けられた。
• IHVP計算コストがO(dm)、各要素クエリコストがO(m)であるため、効率的なプルーニングと最適化が可能である。
• 実装は[9]および[17]で公開されており、実世界の深層学習パイプラインへの実用的導入を支援する。