[논문 리뷰] M-FAC: Efficient Matrix-Free Approximations of Second-Order Information

Elias Frantar, Eldar Kurtic외 1명|arXiv (Cornell University)|2021. 07. 07.

Stochastic Gradient Optimization Techniques참고 문헌 35인용 수 4

한 줄 요약

이 논문은 M-FAC를 소개하며, 전체 헤시안 행렬을 저장하지 않고도 경험적 페셔 정보 근사 하에 역헤시안-벡터 곱(Inverse-Hessian-Vector Products, IHVPs)을 효율적으로 계산하는 행렬 비특성(marix-free) 방법을 제안한다. 이는 선형 시간 알고리즘을 사용하여 계산 비용을 크게 줄인다. 이 방법은 기존의 2차 최적화 방법에 비해 훨씬 낮은 계산 비용으로 신경망 프루닝 및 최적화에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Efficiently approximating local curvature information of the loss function is a key tool for optimization and compression of deep neural networks. Yet, most existing methods to approximate second-order information have high computational or storage costs, which can limit their practicality. In this work, we investigate matrix-free, linear-time approaches for estimating Inverse-Hessian Vector Products (IHVPs) for the case when the Hessian can be approximated as a sum of rank-one matrices, as in the classic approximation of the Hessian by the empirical Fisher matrix. We propose two new algorithms as part of a framework called M-FAC: the first algorithm is tailored towards network compression and can compute the IHVP for dimension $d$, if the Hessian is given as a sum of $m$ rank-one matrices, using $O(dm^2)$ precomputation, $O(dm)$ cost for computing the IHVP, and query cost $O(m)$ for any single element of the inverse Hessian. The second algorithm targets an optimization setting, where we wish to compute the product between the inverse Hessian, estimated over a sliding window of optimization steps, and a given gradient direction, as required for preconditioned SGD. We give an algorithm with cost $O(dm + m^2)$ for computing the IHVP and $O(dm + m^3)$ for adding or removing any gradient from the sliding window. These two algorithms yield state-of-the-art results for network pruning and optimization with lower computational overhead relative to existing second-order methods. Implementations are available at [9] and [17].

연구 동기 및 목표

• 딥 네ural 네트워크에서 2차 최적화 및 프루닝 방법의 높은 계산 및 저장 비용을 해결하기 위해.
• 큰 행렬을 저장하지 않고도 경험적 페셔 근사 하에 정확하고 효율적인 역헤시안-벡터 곱(Inverse-Hessian-Vector Products, IHVPs) 계산을 가능하게 하기 위해.
• 모델 차원 d에 대해 선형적으로 증가하는 알고리즘을 개발하여 대규모 DNN에 실용적으로 적용 가능하게 하기 위해.
• 곡률 인식 업데이트를 통해 네트워크 프루닝 정확도와 최적화 수렴 속도를 향상시키기 위해.
• CIFAR-10, GLUE, SQuADv2와 같은 표준 벤치마크에서 제안된 방법의 효과성을 검증하기 위해.

제안 방법

• 메소드는 웁버리-섀먼-모리슨 공식을 사용하여 기울기 외적곱에서 유래한 랭크-일치 성분들의 합으로서 역페셔 행렬을 순차적으로 갱신한다.
• 정적 알고리즘의 경우 사전 계산 비용은 O(dm²)이며, IHVP 계산 비용은 O(dm)이며, 대각성분에 대한 개별 쿼리 비용은 O(m)이다.
• 동적 알고리즘은 최근 m개의 기울기를 유지하는 슬라이딩 윈도우를 유지하며, IHVP 계산 비용은 O(dm + m²), 기울기 추가/제거 비용은 O(dm + m³)이다.
• 알고리즘은 행렬을 명시적으로 저장하지 않고 벡터와 스칼라만을 사용하여 모델 차원 d에 대해 선형 시간 및 공간 복잡도를 보장한다.
• 경험적 페셔 행렬이 랭크-일치 행렬들의 합이므로, 순차적 갱신을 통해 정확한 역행렬 계산이 가능하다는 사실을 활용한다.
• 이 방법은 네트워크 프루닝(최적의 뇌 절단을 통한) 및 최적화에서의 조건부 SGD에 모두 적용된다.

실험 결과

연구 질문

• RQ1 전체 헤시안 행렬을 저장하지 않고도 경험적 페셔 근사 하에 IHVPs를 효율적으로 계산할 수 있는가?
• RQ2 행렬 비특성, 선형 시간 알고리즘으로서의 IHVPs 계산이 네트워크 프루닝 및 최적화에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ3 동적 최적화 설정에서 역헤시안의 슬라이딩 윈도우 근사의 정확도는 어떠한가?
• RQ4 제안된 방법이 계산 효율성과 모델 성능 측면에서 기존 2차 최적화 방법을 초월하는가?
• RQ5 이 방법은 BERT와 같은 대규모 모델에 대해 상당한 하이퍼파rameter 조정 없이 효과적으로 적용될 수 있는가?

주요 결과

• M-FAC는 ResNet20를 사용한 CIFAR-10에서 기존 방법과 동일하거나 초월하는 프루닝 성능을 달성하면서도 계산 비용을 크게 줄였다.
• SQuADv2 벤치마크에서 M-FAC는 HuggingFace의 Adam 기준선을 초월하여 BERT-tiny에서 52.18 F1 점수(비교 기준 49.99)와 BERT-mini에서 61.35 F1 점수(비교 기준 58.13)를 기록했다.
• GLUE 벤치마크에서 M-FAC는 튜닝된 AdamW 기준선과 동일하거나 초월하는 성능을 보였으며, BERT-tiny에서 83.4% SST-2 정확도(비교 기준 83.2%)와 81.9% MRPC F1 점수(비교 기준 81.1%)를 기록했다.
• 학습 전반에 걸쳐 동적 및 정적 IHVP 방향 간余kosine 유사도가 높게 유지되며(0.95 이상), 슬라이딩 윈도우 근사의 타당성을 검증했다.
• IHVP 계산에 대해 O(dm) 비용과 개별 요소 쿼리 비용 O(m)을 달성하여 프루닝 및 최적화의 효율성을 높였다.
• 구현 코드는 [9] 및 [17]에서 제공되며, 실세계 딥러닝 파이프라인에 실용적으로 구현 가능하다.