[논문 리뷰] Accelerated proximal boosting

Erwan Fouillen, Claire Boyer외 1명|arXiv (Cornell University)|2018. 08. 02.

Domain Adaptation and Few-Shot Learning인용 수 1

한 줄 요약

이 논문은 비미분 가능 경험 위험을 최적화하기 위해 보정 방법과 네스테로프 가속을 통합한 가속 보정 부스팅을 소개한다. 보정 업데이트와 가속 내림값을 활용함으로써, 기존 경사 부스팅에 비해 더 빠른 수렴 속도와 향상된 예측 정확도를 달성한다.

ABSTRACT

Gradient boosting is a prediction method that iteratively combines weak learners to produce a complex and accurate model. From an optimization point of view, the learning procedure of gradient boosting mimics a gradient descent on a functional variable. This paper proposes to build upon the proximal point algorithm when the empirical risk to minimize is not differentiable. In addition , the novel boosting approach, called accelerated proximal boosting, benefits from Nesterov's acceleration in the same way as gradient boosting [Biau et al., 2018]. Advantages of leveraging proximal methods for boosting are illustrated by numerical experiments on simulated and real-world data. In particular, we exhibit a favorable comparison over gradient boosting regarding convergence rate and prediction accuracy.

연구 동기 및 목표

• 비미분 가능 경험 위험을 최소화할 때 경사 부스팅의 한계를 해결하기 위해.
• 최적화 안정성을 향상시키기 위해 보정점 알고리즘을 부스팅 프레임워크로 확장하기 위해.
• 수렴 속도를 향상시키기 위해 네스테로프 가속을 부스팅 프레임워크에 통합하기 위해.
• 모의 및 실세계 데이터셋에서 표준 경사 부스팅과의 성능을 경험적으로 평가하기 위해.

제안 방법

• 비미분 가능 손실 함수를 위한 보정점 알고리즘을 사용하여 경사 부스팅을 기능 최적화 문제로 공식화한다.
• 보정 업데이트에 네스테로프 가속 기법을 적용하여 기능 공간에서 더 빠른 수렴을 가능하게 한다.
• 정규화된 보정 근사치를 최소화함으로써 약한 학습기들을 반복적으로 업데이트한다.
• 보정 항은 손실 함수가 비연속일 경우에도 안정성과 수렴성을 보장한다.
• 업데이트 규칙은 네스테로프의 최적의 일阶 방법에서 영감을 얻은 기울기 하강 단계와 모멘텀 유사 가속을 조합한다.
• 보정 및 가속 성분을 통해 최적화 역학을 향상시키면서도 부스팅의 가감성 구조를 유지한다.

실험 결과

연구 질문

• RQ1 비미분 가능 경험 위험 함수를 최소화할 때 보정 방법이 경사 부스팅의 최적화 안정성을 향상시킬 수 있는가?
• RQ2 부스팅 프레임워크에 네스테로프 가속을 통합하면 수렴 속도가 빨라지는가?
• RQ3 예측 정확도 측면에서 가속 보정 부스팅은 표준 경사 부스팅보다 어떻게 비교되는가?
• RQ4 제안된 방법은 모의 및 실세계 데이터셋 모두에서 강인성과 성능을 유지할 수 있는가?

주요 결과

• 네스테로프 가속의 통합으로 인해 가속 보정 부스팅은 표준 경사 부스팅보다 더 빠른 수렴 속도를 달성한다.
• 모의 및 실세계 데이터셋에서 표준 경사 부스팅 대비 예측 정확도가 향상됨을 보여준다.
• 보정 업데이트의 사용은 비미분 가능 경험 위험 함수 최소화 시 안정성을 향상시킨다.
• 수치 실험을 통해 가속 버전이 수렴 속도와 최종 모델 정확도 측면에서 표준 경사 부스팅을 능가함을 확인한다.