[논문 리뷰] Efficient Distributed Hessian Free Algorithm for Large-scale Empirical Risk Minimization via Accumulating Sample Strategy

Majid Jahani, Xi He외 5명|arXiv (Cornell University)|2018. 10. 26.

Stochastic Gradient Optimization Techniques참고 문헌 31인용 수 12

한 줄 요약

이 논문은 대규모 경험적 리스크 최소화 문제를 효율적으로 해결하기 위해 누적 샘플 전략을 사용하는 분산형, 헤시안 행렬을 직접 계산하지 않는 알고리즘인 DANCE를 제안한다. 점진적으로 증가하는 샘플 크기로 하위 문제를 반복적으로 해결하고, 뉴턴 단계에서 조정된 공액 기울기 방법을 활용함으로써 DANCE는 통계적 정확도 내에서 빠른 수렴을 달성하며 분산 환경에서 강력한 스케일링 성능을 보인다.

ABSTRACT

In this paper, we propose a Distributed Accumulated Newton Conjugate gradiEnt (DANCE) method in which sample size is gradually increasing to quickly obtain a solution whose empirical loss is under satisfactory statistical accuracy. Our proposed method is multistage in which the solution of a stage serves as a warm start for the next stage which contains more samples (including the samples in the previous stage). The proposed multistage algorithm reduces the number of passes over data to achieve the statistical accuracy of the full training set. Moreover, our algorithm in nature is easy to be distributed and shares the strong scaling property indicating that acceleration is always expected by using more computing nodes. Various iteration complexity results regarding descent direction computation, communication efficiency and stopping criteria are analyzed under convex setting. Our numerical results illustrate that the proposed method outperforms other comparable methods for solving learning problems including neural networks.

연구 동기 및 목표

• 두 번째 차수 방법의 고비용 계산 문제를 해결하기 위해 헤시안 역행렬 계산의 오버헤드를 줄이는 것.
• 통신 병목 현상과 하이퍼파rameter 민감도로 인해 분산 환경에서 비효율적인 일阶 방법(SGD 등)의 한계를 극복하는 것.
• 작은 하위 문제에서 시작하여 점진적으로 샘플 크기를 증가시킴으로써 통계적 정확도에 빠르게 수렴할 수 있도록 하는 것.
• 원천적으로 분산된 방법을 설계하여 계산 노드 수 증가에 따라 선형적인 속도 향상을 보이는 강력한 스케일링 성능 확보.
• 완전한 헤시안 행렬 계산을 피하면서도 수렴 속도가 빠른 확장 가능한 두 번째 차수 방법 개발

제안 방법

• 각 단계에서 이전 단계의 모든 샘플을 포함하며 점점 더 큰 데이터 부분집합을 사용하는 다단계 알고리즘 설계. 이전 해를 온난 스타트로 활용.
• 헤시안 역행렬을 직접 계산하지 않고도 효율적으로 뉴턴 시스템을 풀기 위해 조정된 공액 기울기(PCG) 방법을 사용해 근사된 감쇠 뉴턴 단계 적용.
• 누적 샘플 전략 적용: 작은 배치에서 시작하여 점진적으로 더 많은 샘플을 포함시키며 해의 연속성 유지.
• 여러 노드에 걸쳐 기울기 및 헤시안-벡터 곱 계산을 분할하여 분산 계산 활용.
• 통신 비용을 최소화하고 노드당 계산 효율을 극대화함으로써 강력한 스케일링 확보.
• 통계적 정확도에 도달하면 조기에 중단할 수 있도록 적응형 샘플 크기 기법 통합하여 전체 데이터셋에 대한 불필요한 계산 방지.

실험 결과

연구 질문

• RQ1 완전한 헤시안 행렬 계산 없이도 대규모 ERM 문제에 대해 확장 가능하고 효율적인 두 번째 차수 방법을 설계할 수 있는가?
• RQ2 누적 샘플 전략이 통계적 정확도에 수렴하는 동안 데이터 통과 횟수를 줄일 수 있는가?
• RQ3 분산 뉴턴 유형 알고리즘이 실제로 더 많은 노드를 사용할수록 선형적인 속도 향상을 달성하는 강력한 스케일링 성능을 보일 수 있는가?
• RQ4 SGD 및 Adam과 같은 일阶 방법과 비교할 때 제안된 방법의 수렴 속도와 하이퍼파rameter 민감도는 어떠한가?
• RQ5 기존의 두 번째 차수 및 일阶 방법 대비 제안된 방법의 통신 및 계산 복잡도는 어떠한가?

주요 결과

• DANCE는 전체 계산 복잡도가 Õ((log N)³ N¹ᐟ⁴ d²)로 대규모 문제에서 AdaNewton 및 k-TAN보다 현저히 낮다.
• 시간 단위 손실 감소 측면에서 SGD 및 Adam보다 수렴 속도가 더 빠르며, 특히 분산 환경에서 두드러진다.
• DANCE는 강력한 스케일링 성능을 보이며, 노드 수 증가에 따라 거의 선형적인 속도 향상을 보인다. 그림 4에서 확인할 수 있듯이 대규모 배치 크기에서 이상적인 성능에 가까운 속도 향상 달성.
• 하이퍼파ram터 조정에 대해 매우 강인하다. SGD 및 Adam과 달리 학습률이나 배치 크기 조정이 필요하지 않다.
• VGG11을 사용한 Cifar10 데이터셋 실험에서 DANCE는 PyTorch 내장 SGD 최적화기보다 수렴 속도가 더 빠르며, 하이퍼파ram터 조정 없이도 유사하거나 더 높은 정확도를 달성한다.
• NaiveCNet를 사용한 Mnist 실험에서 DANCE는 Adam과 비교해 경쟁력 있는 테스트 정확도를 확보하고 있으며, 특히 CPU에서의 총 실행 시간을 고려할 때 더 빠른 학습 시간을 기록한다.