[논문 리뷰] A Distributed Second-Order Algorithm You Can Trust

Celestine Dünner, Aurélien Lucchi외 4명|arXiv (Cornell University)|2018. 06. 20.

Cryptography and Data Security인용 수 12

한 줄 요약

이 논문은 각 워커에서만 국소 헤시안 블록을 사용하여 전체 헤시안의 통신을 피하는 분산 2차 최적화 알고리즘인 ADN을 제안한다. 블록 대각 헤시안 근사와 적응형 트러스트 영역 전략을 조합함으로써, ADN은 볼록 문제 및 $L_1$-정규화된 문제에서 전역 수렴을 달성하며, 대규모 로지스틱 회귀 작업에서 최신 기술을 능가한다.

ABSTRACT

Due to the rapid growth of data and computational resources, distributed optimization has become an active research area in recent years. While first-order methods seem to dominate the field, second-order methods are nevertheless attractive as they potentially require fewer communication rounds to converge. However, there are significant drawbacks that impede their wide adoption, such as the computation and the communication of a large Hessian matrix. In this paper we present a new algorithm for distributed training of generalized linear models that only requires the computation of diagonal blocks of the Hessian matrix on the individual workers. To deal with this approximate information we propose an adaptive approach that - akin to trust-region methods - dynamically adapts the auxiliary model to compensate for modeling errors. We provide theoretical rates of convergence for a wide class of problems including L1-regularized objectives. We also demonstrate that our approach achieves state-of-the-art results on multiple large benchmark datasets.

연구 동기 및 목표

• 전체 헤시안 계산과 통신을 피함으로써 분산 2차 방법의 높은 통신 비용을 해결하기 위해.
• 강한 볼록 조건이 아닌 설정, 특히 $L_1$-정규화된 목표 함수에서 분산 2차 최적화의 전역 수렴 보장을 제공하기 위해.
• 분산 학습에서 1차 및 기존 2차 방법보다 통신 효율성과 수렴 속도를 향상시키기 위해.
• 고정된 스텝 사이즈나 비용이 많이 드는 선형 탐색에 의존하지 않고 국소 모델 품질에 적응하는 실용적이고 파라미터 없는 알고리즘을 개발하기 위해.

제안 방법

• 각 워커가 국소 헤시안 블록만 계산하는 데 초점을 맞춘 블록 분리 보조 모델과 블록 대각 헤시안 근사를 사용한다.
• 국소 2차 근사의 적합도에 따라 동적으로 보조 모델을 조정하는 적응형 트러스트 영역 접근 방식을 적용한다.
• 각 워커는 임의의 해법기를 사용하여 국소 하위 문제를 해결하고, 마스터 노드에 최소한의 업데이트 정보만 통신한다.
• 마스터 노드는 업데이트를 집계하고 전역 모델에 적용함으로써 적응형 모델 조정을 통해 전역 수렴을 보장한다.
• 이 방법은 통신 효율성과 확장성을 고려하여 설계되었으며, 볼록 문제 및 $L_1$-정규화된 문제에 대해 이론적 수렴 보장을 제공한다.
• 비용이 많이 드는 헤시안 계산과 통신을 피하면서도 파라미터 없는 작동을 지원하는 효율적인 구현이 가능하다.

실험 결과

연구 질문

• RQ1 전체 헤시안을 통신하지 않고도 비강한 볼록, $L_1$-정규화된 문제에 대해 분산 2차 방법이 전역 수렴을 달성할 수 있는가?
• RQ2 최소한의 통신으로 분산 환경에서 국소 2차 정보를 효과적으로 활용할 수 있는가?
• RQ3 적응형 트러스트 영역 전략이 고정된 스텝 사이즈 또는 선형 탐색 방법보다 수렴 속도와 안정성에서 뛰어나게 작용할 수 있는가?
• RQ4 기존의 근사 네이튼 방법과 비교해 국소 헤시안 블록만을 사용하는 것이 대규모 학습 과제에서 더 빠른 수렴을 이끌 수 있는가?

주요 결과

• ADN은 $L_2$-정규화 및 $L_1$-정규화된 로지스틱 회귀에 대해 여러 대규모 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• $L_1$-정규화된 문제에서는 로지스틱 손실에 대해 열악한 2차 근사를 사용하는 CoCoA보다 ADN이 크게 슈퍼어리어어한다.
• ADN의 적응형 전략은 모델 오차에 대한 엄밀한 실용적 경계가 알려져 있지 않은 경우에도 수렴을 가능하게 한다.
• $L_2$-정규화된 문제에서는 고정밀도 수준에서 CoCoA 및 LS보다 ADN이 더 빠른 수렴 속도를 보인다.
• 선형 탐색에 의존하지 않고도 안정적인 성능을 보이며, 비강한 볼록 목표 함수에서는 LS와 달리 안정성이 떨어질 수 있다.
• ADN은 $L_1$-정규화된 목표 함수를 포함한 광범위한 볼록 문제 클래스에 대해 전역 수렴 보장을 제공한다. 이는 이전의 분산 2차 최적화 방법이 다루지 못한 영역이다.