[논문 리뷰] Block-diagonal Hessian-free Optimization for Training Neural Networks

Huishuai Zhang, Caiming Xiong외 2명|arXiv (Cornell University)|2017. 12. 20.

Stochastic Gradient Optimization Techniques참고 문헌 37인용 수 10

한 줄 요약

이 논문은 계층 내 파라미터 블록 내에서 헤시안-벡터 곱을 제한함으로써 곡률 행렬을 근사하는 블록 대각 헤시안 프리(HF) 최적화 방법을 제안한다. 이는 각 블록에서 독립적인 코니규에이트 그래디언트 업데이트를 가능하게 하여 더 빠른 수렴, 더 나은 일반화 및 대규모 미니배치에 대한 뛰어난 확장성을 달성한다. 표준 HF 및 Adam보다 더 빠른 수렴을 이룰 뿐 아니라 최적화 업데이트 횟수를 최대 한 계단수 감소시키면서도 계산 효율성을 유지한다.

ABSTRACT

Second-order methods for neural network optimization have several advantages over methods based on first-order gradient descent, including better scaling to large mini-batch sizes and fewer updates needed for convergence. But they are rarely applied to deep learning in practice because of high computational cost and the need for model-dependent algorithmic variations. We introduce a variant of the Hessian-free method that leverages a block-diagonal approximation of the generalized Gauss-Newton matrix. Our method computes the curvature approximation matrix only for pairs of parameters from the same layer or block of the neural network and performs conjugate gradient updates independently for each block. Experiments on deep autoencoders, deep convolutional networks, and multilayer LSTMs demonstrate better convergence and generalization compared to the original Hessian-free approach and the Adam method.

연구 동기 및 목표

• 딥 러닝에서 이阶 최적화의 높은 계산 비용과 낮은 확장성, 특히 대규모 미니배치에서의 문제를 해결하기 위해.
• 곡률 행렬의 구조적 희박성 특성을 활용하여 헤시안 프리 최적화의 수렴성과 안정성을 향상시키기 위해.
• 수렴을 위해 필요한 최적화 업데이트 횟수를 줄이면서도 일반화 성능을 유지하거나 향상시키기 위해.
• 신경망 계층 간 파라미터 업데이트를 분리함으로써 더 나은 병렬 처리 및 분산 학습 확장성 가능성을 확보하기 위해.
• 블록 대각 곡률 행렬 근사가 딥 네럴 네트워크에서 헤시안 프리 최적화를 향상시키는지 경험적으로 검증하기 위해.

제안 방법

• 방법은 신경망의 각 계층 또는 모듈에 해당하는 블록 대각 구조를 사용하여 일반화된 가우스-뉴턴 행렬을 근사한다.
• 전체 헤시안 계산을 피하기 위해 헤시안-벡터 곱을 각 파라미터 블록 내에서만 계산한다. 이는 계산 복잡도를 감소시킨다.
• 코니규에이트 그래디언트(CG) 업데이트는 각 블록에서 독립적으로 수행되며, 이는 분리 가능한 부분문제와 향상된 병렬 처리를 가능하게 한다.
• 헤시안-벡터 곱을 위한 각 계산에 한 번의 순방향 및 한 번의 역방향 전파를 사용하여 효율적인 자동 미분 기법을 활용한다.
• 해당 방법은 명시적 헤시안 역행렬 계산을 피하면서도 반복당 비용을 크게 감소시켜 헤시안 프리 프레임워크의 장점을 유지한다.
• 고정된 학습률과 덤핑 강도를 사용하며, 공정한 비교를 위해 폴리악 평균을 적용한다.

실험 결과

연구 질문

• RQ1 곡률 행렬의 블록 대각 근사는 딥 네럴 네트워크에서 헤시안 프리 최적화의 수렴성과 안정성을 향상시킬 수 있는가?
• RQ2 계층 내 파라미터 블록 내에서 곡률 계산을 제한할 경우, 표준 헤시안 프리 및 일阶 최적화 방법에 비해 수렴을 위해 필요한 최적화 업데이트 횟수가 감소하는가?
• RQ3 대규모 미니배치 환경에서 블록 대각 HF 방법은 Adam과 같은 일阶 최적화 방법이 일반화 성능 열화를 겪는 상황에서 어떻게 성능을 발휘하는가?
• RQ4 블록 대각 구조는 분산 학습 환경에서 병렬 처리 및 확장성 향상에 어느 정도 기여하는가?
• RQ5 블록 대각 근사는 전체 헤시안 프리 및 Adam과 같은 적응형 일阶 최적화 방법에 비해 일반화 성능을 유지하거나 향상시키는가?

주요 결과

• 블록 대각 헤시안 프리 방법은 대규모 미니배치에서 Adam과 유사하거나 더 높은 테스트 정확도를 달성하기 위해 최대 한 계단수 적은 최적화 업데이트를 요구한다.
• 딥 오토에인코드 및 다중 계층 LSTM에서, 블록 대각 HF 방법은 표준 헤시안 프리 및 Adam보다 낮은 훈련 손실과 더 나은 일반화 성능을 달성한다. 특히 곡률 추정에 소규모 미니배치가 사용될 경우에도 마찬가지다.
• 단순화된 ResNet을 사용한 CIFAR-10 이미지 분류 작업에서, 블록 대각 HF 방법은 표준 헤시안 프리보다 더 높은 테스트 정확도와 더 안정적인 훈련을 달성한다. 특히 소규모 미니배치로 인한 곡률 추정의 노이즈가 심할 경우 더욱 두드러진다.
• 방법은 표준 헤시안 프리와 유사한 계산 효율성을 유지하며, 반복당 시간은 Adam보다 5~10배 느리지만 총 반복 횟수가 크게 줄어든다.
• 블록 대각 HF 방법은 대규모 미니배치 크기에 대해 뛰어난 확장성을 보이며, Adam 및 표준 HF 방법이 그러한 조건에서 성능 저하를 보이는 것을 방지한다.
• 블록 간 부분문제의 분리성 덕분에 내재된 병렬 처리가 가능하여, 분산 및 대규모 머신 러닝 응용 분야에서 강력한 잠재력을 지닌다.