[논문 리뷰] Fast Approximation of the Gauss-Newton Hessian Matrix for the Multilayer Perceptron

Chao Chen, Severin Reiz외 3명|arXiv (Cornell University)|2019. 10. 27.

Stochastic Gradient Optimization Techniques참고 문헌 46인용 수 4

한 줄 요약

이 논문은 다층 퍼셉트론에서 가우스-뉴턴 헤시안(GNH) 행렬의 엔트리별 근사에 대해 빠른 몬테카를로 샘플링 알고리즘을 제안하며, 계산 비용을 𝒪(Nn)에서 𝒪(n + d/ε²)로 감소시킨다. 이 방법은 효율적인 계층 행렬(ℋ-).

ABSTRACT

We introduce a fast algorithm for entry-wise evaluation of the Gauss-Newton Hessian (GNH) matrix for the fully-connected feed-forward neural network. The algorithm has a precomputation step and a sampling step. While it generally requires $O(Nn)$ work to compute an entry (and the entire column) in the GNH matrix for a neural network with $N$ parameters and $n$ data points, our fast sampling algorithm reduces the cost to $O(n+d/ε^2)$ work, where $d$ is the output dimension of the network and $ε$ is a prescribed accuracy (independent of $N$). One application of our algorithm is constructing the hierarchical-matrix (H-matrix) approximation of the GNH matrix for solving linear systems and eigenvalue problems. It generally requires $O(N^2)$ memory and $O(N^3)$ work to store and factorize the GNH matrix, respectively. The H-matrix approximation requires only $O(N r_o)$ memory footprint and $O(N r_o^2)$ work to be factorized, where $r_o \ll N$ is the maximum rank of off-diagonal blocks in the GNH matrix. We demonstrate the performance of our fast algorithm and the H-matrix approximation on classification and autoencoder neural networks.

연구 동기 및 목표

• 완전히 연결된 피드포워드 신경망에서 가우스-뉴턴 헤시안(GNH) 행렬의 엔트리별 평가를 위한 빠르고 확장 가능한 방법을 개발한다.
• GNH 행렬 평가의 계산 비용을 매개변수 수 N에 관계없이 𝒪(Nn)에서 𝒪(n + d/ε²)로 감소시킨다.
• 선형 시스템과 고유값 문제를 해결하기 위해 GNH의 효율적인 계층 행렬(ℋ-행렬) 근사를 가능하게 한다.
• MNIST와 CIFAR-10 데이터셋을 사용하여 분류 및 오토인코더 네트워크에서 이 방법의 효과성을 입증한다.
• McDiarmid 부등식을 사용한 샘플링 정확도 이론적 보장을 제공하고 수치 실험에서 수렴성을 검증한다.

제안 방법

• 중간 자료인 야코비안과 헤시안 항을 저장하는 사전 계산 단계와, 무작위 샘플링을 통한 GNH 엔트리 추정을 위한 샘플링 단계로 구성된 이중 단계 알고리즘을 도입한다.
• GNH 행렬의 구조 H = JᵀQJ을 활용하며, 여기서 J는 가중치에 대한 네트워크 출력의 야코비안이고 Q는 손실 함수의 헤시안이다.
• 몬테카를로 샘플링을 통해 랜덤한 데이터 포인트를 추출하고, JᵢᵀQᵢJᵢ의 확률적 추정치를 계산하여 GNH의 개별 엔트리 근사를 수행한다.
• McDiarmid 부등식을 적용하여 샘플링 오차를 경계함으로써, 높은 확률로 진짜 GNH 엔트리에 수렴하도록 보장한다.
• 샘플된 엔트리들을 이용해 GNH의 ℋ-행렬 근사를 구성함으로써 메모리 비용을 𝒪(N²)에서 𝒪(Nrₒ)로 감소시키고, 분해 비용을 𝒪(N³)에서 𝒪(Nrₒ²)로 줄이며, 여기서 rₒ ≪ N은 비대각 블록의 질량이다.
• 샘플링 알고리즘을 ℋ-행렬 구축 파이프라인에 통합하여 GNH 행렬의 빠르고 정확한 저랭크 근사를 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크의 가우스-뉴턴 헤시안 행렬에서 개별 엔트리 평가의 계산 비용을 크게 줄일 수 있는가?
• RQ2 사전 계산된 항을 기반으로 한 무작위 샘플링 접근법이 매개변수 수 N에 대해 비선형적 의존도를 가지면서도 높은 정확도를 달성할 수 있는가?
• RQ3 제안된 샘플링 방법이 GNH 행렬에 대해 효율적이고 정확한 계층 행렬(ℋ-행렬) 근사를 가능하게 할 수 있는가?
• RQ4 샘플 수와 원하는 정밀도 ε에 따라 샘플링 오차가 어떻게 변화하는가? 이에 대한 이론적 경계를 설정할 수 있는가?
• RQ5 결과로 도출된 ℋ-행렬 근사는 실제로 GNH 행렬을 포함한 선형 시스템과 고유값 문제 해결에 효과적으로 활용될 수 있는가?

주요 결과

• 제안된 알고리즘은 단일 GNH 행렬 엔트리 평가의 비용을 𝒪(Nn)에서 𝒪(n + d/ε²)로 감소시켜 대규모 네트워크에서 뚜렷한 속도 향상을 이룬다.
• MNIST 오토인코더에서, 10,000개의 샘플을 사용하여 1.68%의 압축률과 6.1×10⁻²의 프로베니우스 오차를 달성했으며, 더 많은 샘플을 사용할수록 오차가 감소함을 확인했다.
• CIFAR-10에서, 10,000개의 샘플을 사용하여 4.83%의 압축률과 7.3×10⁻²의 프로베니우스 오차를 달성했으며, 높은 정확도에서 우수한 성능을 보였다.
• 샘플 수가 증가함에 따라 샘플링 오차는 0으로 수렴하고, ℋ-행렬 근사 오차 역시 감소함을 확인하여 전체 접근법의 타당성을 검증했다.
• 유사한 정확도를 확보하기 위해 필요한 샘플 수 측면에서, 이 방법은 균일 샘플링 대비 100배 이상의 샘플링 효율성을 확보했다.
• VGG 네트워크에서의 초도 실험 결과, 이 방법이 컨volutional 아키텍처로 일반화될 수 있음을 시사하며, 더 넓은 적용 가능성을 시사한다.