[논문 리뷰] A Multi-Batch L-BFGS Method for Machine Learning

Albert S. Berahas, Jorge Nocedal외 1명|arXiv (Cornell University)|2016. 05. 19.

Stochastic Gradient Optimization Techniques참고 문헌 26인용 수 27

한 줄 요약

이 논문은 분산 기계 학습에서 비동기적 또는 분산 설정에서 기울기가 서로 다른 데이터 하위집합에서 계산될 경우에도 안정적인 헤시안 근사치를 유지할 수 있도록 겹치는 데이터 배치를 활용하여, 동기화 오버헤드 없이 효율적인 대용량 배치 최적화를 가능하게 하는 강건한 다중배치 L-BFGS 방법을 제안한다. 이 방법은 기울기가 서로 다른 데이터 하위집합에서 계산되더라도 안정적인 헤시안 근사치를 유지하며, 통신 비용을 최소화하면서 볼록 및 비볼록 문제에서 강력한 수렴성과 확장성을 보여준다.

ABSTRACT

The question of how to parallelize the stochastic gradient descent (SGD) method has received much attention in the literature. In this paper, we focus instead on batch methods that use a sizeable fraction of the training set at each iteration to facilitate parallelism, and that employ second-order information. In order to improve the learning process, we follow a multi-batch approach in which the batch changes at each iteration. This can cause difficulties because L-BFGS employs gradient differences to update the Hessian approximations, and when these gradients are computed using different data points the process can be unstable. This paper shows how to perform stable quasi-Newton updating in the multi-batch setting, illustrates the behavior of the algorithm in a distributed computing platform, and studies its convergence properties for both the convex and nonconvex cases.

연구 동기 및 목표

• 분산 또는 비동기 설정에서 기울기가 서로 다른 데이터 배치에서 계산될 경우 L-BFGS의 불안정성을 해결하기 위해.
• строго한 데이터 일관성이나 동기화를 요구하지 않고 기계 학습에서 효율적인 대용량 배치 최적화를 가능하게 하기 위해.
• 부분적 또는 지연된 노드 응답 상황에서도 수렴성과 안정성을 유지하는 장애 내성 있는 준뉴턴 방법을 개발하기 위해.
• 계산 비용과 통신 비용을 균형 잡기 위해, 안정적인 헤시안 업데이트를 위한 겹치는 배치를 사용하기 위해.

제안 방법

• 메서드는 전체 기울기 차이가 아닌 연속된 배치 간의 교집합(겹침)을 기반으로 준뉴턴 업데이트를 수행한다.
• 이 방법은 겹치는 데이터 포인트만을 사용하여 헤시안 업데이트를 수행함으로써, 불일치한 데이터 샘플링으로 인한 불안정성을 피하는 강건한 L-BFGS 설정을 사용한다.
• 각 반복에서 O(d) 연산으로 탐색 방향을 효율적으로 계산하기 위해 벡터 없는 L-BFGS 구현을 사용한다.
• MPI를 사용한 분산 플랫폼을 대상으로 설계되었으며, 응답이 없는 노드를 무시함으로써 업데이트 과정에 영향을 주지 않고 장애 내성을 확보한다.
• 수렴성 분석을 위해 고정된 스텝 길이 전략을 사용하여 볼록 및 비볼록 설정 모두에서 안정성을 확보한다.
• 강력한 스케일링 성능을 평가하기 위해 실제 데이터셋(kddb, url)과 인위적 데이터를 사용하여 평가한다.

실험 결과

연구 질문

• RQ1 기울기가 서로 다른 데이터 하위집합에서 계산되는 다중배치 환경에서 안정적인 준뉴턴 업데이트가 달성될 수 있는가?
• RQ2 분산 시스템에서 데이터 불일치 또는 노드 장애가 발생할 경우, 제안된 방법의 수렴성과 강건성은 어떻게 평가되는가?
• RQ3 배치 겹침 크기가 대규모 기계 학습에서 L-BFGS의 안정성과 성능에 미치는 영향은 무엇인가?
• RQ4 다양한 문제 크기와 하드웨어 구성에서 계산 비용과 통신 비용 측면에서 이 방법의 확장성은 어떻게 평가되는가?
• RQ5 낮은 통신 오버헤드를 유지하면서도 기존 L-BFGS나 SGD보다 더 빠른 수렴을 달성할 수 있는가?

주요 결과

• 기울기가 서로 다른 데이터 배치에서 계산되더라도, 업데이트에 겹치는 데이터 포인트만을 사용함으로써 다중배치 L-BFGS 방법이 안정적인 헤시안 근사치를 달성한다.
• kddb 및 url 데이터셋에서, 고장 상황(예: 30% 노드 장애율)에서도 표준 L-BFGS보다 우수한 성능을 보이며, 10회의 실행 평균에서 일관된 성능을 유지한다.
• 강력한 스케일링 실험 결과, MPI 프로세스 수가 증가함에 따라 기울기 및 L-BFGS 계산 시간이 감소하지만, 통신 오버헤드로 인해 일정 수준 이상에서는 성능 향상이 제한된다.
• 약한 스케일링 실험 결과, 데이터 크기가 프로세스 수와 비례하여 증가함에 따라 프로세스당 기울기 계산 시간이 거의 일정하게 유지되어 양호한 로드 밸런싱을 보여준다.
• 10^7개의 샘플과 d=10^4인 문제에서 128개의 프로세스로 192GB의 데이터를 1회 반복에 0.1초 이내로 처리할 수 있으며, 이는 약 1초의 에포크 시간을 의미한다.
• 문제 차원 d가 증가함에 따라 기울기 계산 시간에는 미미한 영향을 미치지만, 특히 통신을 포함한 경우 L-BFGS 탐색 방향 계산 시간에는 더 뚜렷한 영향을 미친다.