[논문 리뷰] Quasi-Newton Methods for Deep Learning: Forget the Past, Just Sample.

Albert S. Berahas, Majid Jahani외 1명|arXiv (Cornell University)|2019. 01. 28.

Model Reduction and Neural Networks참고 문헌 60인용 수 36

한 줄 요약

이 논문은 딥러닝을 위한 샘플드 쿼asi-뉴턴 방법인 S-LBFGS와 S-LSR1을 소개한다. 각 반복에서 현재 반복점 주변의 점들을 무작위로 샘플링하여 헤시안 또는 역헤시안 근사치를 구축한다. 과거의 오래된 반복점 정보가 아닌 최근의 국소 데이터에 의존함으로써, 이 방법들은 더 나은 수렴성과 효율성을 달성하며, 토이 및 실제 신경망 벤치마크에서 기존의 전통적 방법들을 능가한다.

ABSTRACT

We present two sampled quasi-Newton methods for deep learning: sampled LBFGS (S-LBFGS) and sampled LSR1 (S-LSR1). Contrary to the classical variants of these methods that sequentially build Hessian or inverse Hessian approximations as the optimization progresses, our proposed methods sample points randomly around the current iterate at every iteration to produce these approximations. As a result, the approximations constructed make use of more reliable (recent and local) information, and do not depend on past iterate information that could be significantly stale. Our proposed algorithms are efficient in terms of accessed data points (epochs) and have enough concurrency to take advantage of parallel/distributed computing environments. We provide convergence guarantees for our proposed methods. Numerical tests on a toy classification problem as well as on popular benchmarking neural network training tasks reveal that the methods outperform their classical variants.

연구 동기 및 목표

• 기존의 쿼اسي-뉴턴 방법이 오래된, 오래된 반복점 정보에 의존함으로써 딥러닝에서 효율성이 떨어지는 문제를 해결하기 위해.
• 과거 반복점을 축적하는 대신 최근의 국소 데이터 포인트를 사용하여 수렴성과 최적화 효율성을 향상시키기 위해.
• 데이터 샘플링을 통해 분산 컴퓨팅 환경에서의 더 나은 병렬 처리와 확장성을 가능하게 하기 위해.
• 딥러닝에서 샘플드 쿼اسي-뉴턴 방법에 대한 이론적 수렴 보장을 제공하기 위해.
• 표준 딥러닝 작업에서 제안된 방법이 기존의 LBFGS와 LSR1보다 열등하지 않음을 경험적으로 검증하기 위해.

제안 방법

• 딥러닝을 위한 기존 쿼اسي-뉴턴 방법의 샘플드 변종인 S-LBFGS와 S-LSR1을 제안한다.
• 각 반복에서 현재 반복점 주변의 점들을 무작위로 샘플링하여 헤시안 또는 역헤시안 근사치를 구성한다.
• 과거의 오래된 반복점에 의존하지 않고 최근의 국소 데이터만을 사용하여 근사치를 형성한다.
• 각 반복에서 샘플링하는 점의 수를 제한함으로써 낮은 메모리 및 계산 비용을 유지한다.
• 표준 가정 하에 수렴을 보장할 수 있도록 샘플링을 쿼اسي-뉴턴 업데이트 메커니즘에 통합한다.
• 샘플링 점과 기울기 평가를 병렬로 처리할 수 있도록 함으로써 동시성을 활용한다.

실험 결과

연구 질문

• RQ1 현재 반복점 주변의 최근 국소 점들을 샘플링하는 것이 딥러닝에서 헤시안 근사치의 품질을 향상시킬 수 있는가?
• RQ2 과거 반복점 의존성을 샘플된 데이터로 대체하면 쿼اسي-뉴턴 최적화에서 더 빠른 수렴이 이루어지는가?
• RQ3 샘플드 쿼اسي-뉴턴 방법은 분산 환경에서 더 나은 확장성과 성능을 달성할 수 있는가?
• RQ4 딥러닝에서 샘플드 쿼اسي-뉴턴 방법에 대해 어떤 이론적 수렴 보장을 설정할 수 있는가?
• RQ5 S-LBFGS와 S-LSR1은 표준 딥러닝 벤치마크에서 기존의 LBFGS와 LSR1과 비교해 어떻게 성능을 냈는가?

주요 결과

• S-LBFGS와 S-LSR1는 토이 분류 문제에서 기존의 LBFGS와 LSR1보다 더 빠른 수렴과 낮은 손실을 보이며 슈퍼어리어를 기록한다.
• 제안된 방법들은 기존의 변종 대비 인기 있는 벤치마크 신경망 작업에서 더 높은 테스트 정확도를 달성한다.
• S-LBFGS와 S-LSR1는 수렴하기 위해 접근하는 데이터 포인트 수(에포크 수)가 적어져 데이터 효율성이 향상됨을 보여준다.
• 이 방법들은 강력한 확장성을 보이며 병렬 및 분산 컴퓨팅 자원을 효과적으로 활용할 수 있다.
• 표준 가정 하에 이론적 수렴 보장이 확립되어 샘플링 기반 접근의 견고성을 확인한다.
• 최근의 국소 샘플링을 사용함으로써 오래된 과거 반복점에 대한 의존성이 감소하여 더 신뢰할 수 있는 헤시안 근사치가 도출된다.