[논문 리뷰] Training Neural Networks with Stochastic Hessian-Free Optimization

Ryan Kiros|arXiv (Cornell University)|2013. 01. 16.

Stochastic Gradient Optimization Techniques참고 문헌 21인용 수 27

한 줄 요약

이 논문은 확률적 헤시안 프리 (SHF) 최적화를 제안한다. SHF는 데이터셋 크기와 무관하게 미니배치 기반의 확률적 경사와 곡률-벡터 곱을 사용하는 헤시안 프리 (HF) 학습의 확률적 변종이다. SHF는 SGD의 일반화 성능와 두 번째 차수 곡률 정보를 결합하여 학습률 조정 없이도 이미지 분류 및 딥 오토에인코드러 작업에서 경쟁 가능한 성능을 달성하며, 과적합을 방지하기 위해 드롭아웃을 통합한다.

ABSTRACT

Hessian-free (HF) optimization has been successfully used for training deep autoencoders and recurrent networks. HF uses the conjugate gradient algorithm to construct update directions through curvature-vector products that can be computed on the same order of time as gradients. In this paper we exploit this property and study stochastic HF with gradient and curvature mini-batches independent of the dataset size. We modify Martens' HF for these settings and integrate dropout, a method for preventing co-adaptation of feature detectors, to guard against overfitting. Stochastic Hessian-free optimization gives an intermediary between SGD and HF that achieves competitive performance on both classification and deep autoencoder experiments.

연구 동기 및 목표

• 데이터셋 크기와 무관하게 미니배치 기반의 경사와 곡률-미니배치를 사용하는 확장 가능한, 확률적 헤시안 프리 (HF) 최적화의 변종을 개발한다.
• 특징 검출기의 상호 적응을 방지하고 과적합을 줄이기 위해 드롭아웃을 HF 최적화에 통합한다.
• SGD의 일반화 이점을 두 번째 차수 곡률 정보를 반영한 업데이트와 융합하여, 미니배치 크기와 공액 그래디언트 (CG) 반복 수 조절을 통해 적응형 행동을 가능하게 한다.
• SHF를 분류 및 딥 오토에인코드러 작업에 대해 평가하여 SGD, HF, 모멘타임, 네스테로프 가속화된 그래디언트 방법과 비교한다.
• SHF가 수동 학습률 조정이 필요 없이 다양한 아키텍처와 작업에서 경쟁 가능한 성능를 유지함을 입증한다.

제안 방법

• Martens의 헤시안 프리 (HF) 프레임워크를 확률적 경사와 곡률-벡터 곱을 미니배치에서 계산하도록 변형하여 계산 비용을 데이터셋 크기에서 분리한다.
• 공액 그래디언트 (CG) 반복을 통해 헤시안-벡터 곱을 이용해 업데이트 방향을 계산하며, 명시적인 헤시안 행렬 계산을 피한다.
• 학습 중 드롭아웃을 정규화 요소로 통합하여 특징 검출기의 상호 적응을 방지하고 일반화 성능를 향상시킨다.
• 경사와 곡률에 대한 미니배치 크기를 조절하여 SGD 유사 동작과 HF 유사 동작 사이를 조절할 수 있도록 SHF의 행동을 제어한다.
• 학습이 발산할 경우를 대비해 동적 CG 감쇠 파라미터를 비활성화하는 전략을 도입하여 고곡률 영역에서의 정 fine-tuning 이 가능하게 하며, 모멘타임 안내와 유사한 동작을 구현한다.
• 이전 연구에서 영감을 얻어 분산 기반의 미니배치 크기 제어를 적용하지만, 본 연구에서는 배치 크기를 고정한다.

실험 결과

연구 질문

• RQ1 미니배치를 통해 경사와 곡률-벡터 곱을 계산함으로써 대규모 데이터셋에 대해 효율적으로 확장 가능한 헤시안 프리 최적화의 확률적 변종을 설계할 수 있는가?
• RQ2 헤시안 프리 최적화에 드롭아웃을 통합하면 분류 및 오토에인코드러 작업 모두에서 일반화 성능를 향상시키고 과적합을 줄일 수 있는가?
• RQ3 SHF는 수동 학습률 조정 없이 다양한 신경망 아키텍처에서 SGD 및 HF와 경쟁 가능한 성능를 달성할 수 있는가?
• RQ4 미니배치 크기와 공액 그래디언트 (CG) 반복 수 간의 상호작용이 최적화 동역학과 수렴에 어떤 영향을 미치는가?
• RQ5 동적 CG 감쇠 메커니즘이 고정된 모멘타임 스케줄에 비해 고곡률 영역에서 수렴을 얼마나 향상시키는가?

주요 결과

• CURVES 데이터셋에서 SHF는 훈련 오차 0.089를 기록하여 HF (0.110)를 능가하고 최고 성능를 보인 방법들과 유사한 성능를 확보하여, 어려운 최적화가 필요한 오토에인코드러 작업에서 개선된 최적화 성능를 입증했다.
• MNIST에서 SHF는 훈련 오차 0.877을 기록하여 HF (0.780)와 모멘타임 기반 방법들과 유사한 성능를 보이며 표준 오토에인코드러 벤치마크에서 강력한 성능를 입증했다.
• 로이터 텍스트 분류 데이터셋에서 드롭아웃을 사용한 SHF는 경쟁 가능한 테스트 정확도를 기록했고, 드롭아웃 없이 사용한 SHF는 훈련 데이터에 과적합한 것으로 나타나 드롭아웃의 일반화 성능 향상에 대한 중요성을 확인했다.
• SHF는 학습률 수동 조정이 필요 없이 실험 전반에서 안정적인 성능를 유지하며, 첫 번째 차수 방법과 달리 주의 깊은 하이퍼파rameter 스케줄링이 필요로 하지 않는다.
• 작은 배치와 오직 5회의 CG 반복만을 사용한 실험에서는 악화된 결과 (예: CURVES에서 0.19)를 기록하여, 노이즈가 많은 업데이트가 고곡률 영역에서 진전을 방해할 수 있음을 시사했다.
• 발산 후 감쇠를 비활성화하는 동적 CG 감쇠 메커니즘은 특히 CURVES에서 훈련 오차를 크게 감소시켰으며, 복잡한 손실 곡면을 탐색하는 데 효과적이었다.