[논문 리뷰] Empirical study towards understanding line search approximations for training neural networks

Younghwan Chae, Daniël N. Wilke|arXiv (Cornell University)|2019. 09. 15.

Stochastic Gradient Optimization Techniques참고 문헌 42인용 수 8

한 줄 요약

이 논문은 미니배치 서브샘플링을 사용한 확률적 신경망 학습에서 이차 선 탐색 근사에 대해 함수 값과 방향 도함수의 유용성을 비교한다. 방향 도함수 정보—특히 초기점에서의 정보—가 단순히 함수 값보다 단계 크기 예측의 분산을 줄이는 데 훨씬 더 중요하다는 것을 발견했으며, 더 적은 관련 정보를 선택적으로 사용하는 것이 더 광범위하게 사용하는 것보다 성능이 뛰어나다는 것을 확인했다.

ABSTRACT

Choosing appropriate step sizes is critical for reducing the computational cost of training large-scale neural network models. Mini-batch sub-sampling (MBSS) is often employed for computational tractability. However, MBSS introduces a sampling error, that can manifest as a bias or variance in a line search. This is because MBSS can be performed statically, where the mini-batch is updated only when the search direction changes, or dynamically, where the mini-batch is updated every-time the function is evaluated. Static MBSS results in a smooth loss function along a search direction, reflecting low variance but large bias in the estimated "true" (or full batch) minimum. Conversely, dynamic MBSS results in a point-wise discontinuous function, with computable gradients using backpropagation, along a search direction, reflecting high variance but lower bias in the estimated "true" (or full batch) minimum. In this study, quadratic line search approximations are considered to study the quality of function and derivative information to construct approximations for dynamic MBSS loss functions. An empirical study is conducted where function and derivative information are enforced in various ways for the quadratic approximations. The results for various neural network problems show that being selective on what information is enforced helps to reduce the variance of predicted step sizes.

연구 동기 및 목표

• 동적 미니배치 서브샘플링 하에서 이차 선 탐색 근사를 구성할 때 함수 값과 방향 도함수의 상대적 가치를 이해하는 것.
• 함수 및 도함수 정보의 다양한 조합이 확률적 경사 하강법에서 예측된 단계 크기의 분산과 정확도에 미치는 영향을 평가하는 것.
• 더 많은 정보(예: 다수의 함수 평가)를 사용하는 것이 성능을 향상시키는지, 아니면 선택적이고 최소한의 정보(특히 초기점의 방향 도함수)가 더 효과적인지 판단하는 것.
• 다양한 신경망 아키텍처와 데이터셋에서 확률적 최적화 하에서 다양한 근사 전략의 견고성 평가

제안 방법

• 탐색 방향의 다양한 단계 크기에서 함수 값과 방향 도함수의 조합을 사용해 다섯 가지 다른 1차원 이차 근사를 구성한다.
• 정보를 세 가지 방식으로 강제 적용: 오직 함수 값만 사용( f-f-f ), 오직 방향 도함수만 사용( g-g ), 그리고 초기점 α₀와 α₁에서의 함수 값과 각각 α₀( fg-f ), α₁( f-fg ), 또는 양쪽( fg-fg )에서의 도함수를 포함한 혼합 구성.
• 정확한 선 탐색을 기준선으로 삼아, 로지스틱 회귀, MNIST, CIFAR-10 및 더 깊은 네트워크에서 성능을 평가한다.
• 수렴 속도, 단계 크기 분산, 유효한(양수인) 단계 크기 비율을 측정하여, 특히 확률적 환경에서의 안정성과 정확성에 중점을 둔다.
• 스토캐스틱 비음수 경사 하강 프로젝션( NN-GPP ) 프레임워크에 근사를 적용하여 방향 도함수의 부호 변화를 탐지하고, 이로 인해 안정적인 단계 크기 추정이 가능하도록 한다.
• 정적 및 동적 미니배치 서브샘플링 설정에서 근사를 평가하며, 특히 불연속성이 탐색을 복잡하게 만드는 동적 MBSS에 집중한다.

실험 결과

연구 질문

• RQ1 동적 미니배치 서브샘플링에서 함수 값과 방향 도함수의 포함 여부가 예측된 단계 크기의 분산에 어떤 영향을 미치는가?
• RQ2 더 많은 함수 평가를 사용하면 선 탐색 근사의 정확도가 향상되는가, 아니면 편향과 불안정성이 증가하는가?
• RQ3 초기점에서의 방향 도함수 정보가 다른 점들보다 단계 크기 분산을 줄이는 데 더 유용한가?
• RQ4 예를 들어 초기 방향 도함수만 사용하는 최소한의 선택적 정보 사용이 더 포괄적인 데이터 수집보다 성능이 뛰어나게 되는가?
• RQ5 왜 일부 근사(예: f-f-f, f-fg)는 더 많은 데이터를 사용함에도 불구하고 유효한 단계 크기를 생성하지 못하는가? 반면 다른 근사(예: fg-f, g-g)는 안정성을 유지하는가?

주요 결과

• 예측된 단계 크기의 분산을 줄이고 내림쪽 방향 일致성을 확보하기 위해 초기점에서의 방향 도함수 정보가 필수적이다.
• 오직 방향 도함수만 사용하는 g-g 근사와 초기점 α₀에서의 함수 값과 도함수만 사용하는 fg-f 근사가 다른 모든 구성보다 안정성과 수렴 성능에서 뛰어나다.
• 함수 값만 사용하는 근사(예: f-f-f, f-fg)는 특히 작은 미니배치 설정에서 높은 편향을 유발하는 2차 다항식 근사로 인해 자주 유효하지 않은 단계 크기(α < 0)를 생성한다.
• 더 많은 정보를 사용하는 fg-fg 근사도 일부 경우에 실패하는데, 이는 편향된 근사 구성으로 인한 것으로, 양이 많다고 해서 질이 보장되는 것은 아님을 시사한다.
• 함수 값만 많은 데이터를 사용하는 것보다, 제한된 데이터이지만 방향 도함수 정보를 사용할 경우 분산이 낮고 성능이 뛰어나다.
• g-g 및 fg-f 근사는 정확한 선 탐색과 수렴 성능에서 유사한 성능을 달성하지만, 약간 더 느린 초반 진전을 보이며, 시간이 지남에 따라 단계 크기 선택에서 지속적인 개선을 보인다.