[논문 리뷰] Branch-and-Pruning Optimization Towards Global Optimality in Deep Learning.

Yuanwei Wu, Ziming Zhang외 1명|arXiv (Cornell University)|2021. 04. 05.

Stochastic Gradient Optimization Techniques참고 문헌 64인용 수 4

한 줄 요약

이 논문은 딥러닝에서 전역 최적해에 도달하기 위해 단계 크기를 적응적으로 설정하는 데 리프시츠 연속성을 활용하는 새로운 브랜치 앤 프루닝 최적화 알고리즘인 BPGrad를 제안한다. 반복적으로 검색 영역을 정밀화하는 브랜치 및 프루닝을 통해 BPGrad는 유한한 반복 횟수 내에 전역 최적해로의 수렴을 보장하며, 객체 인식, 검출, 세그멘테이션 작업에서 Adam, Adagrad, Adadelta 및 RMSProp보다 경험적으로 뛰어난 성능을 보인다.

ABSTRACT

It has been attracting more and more attention to understand the global optimality in deep learning (DL) recently. However, conventional DL solvers, have not been developed intentionally to seek for such global optimality. In this paper, we propose a novel approximation algorithm, {\em BPGrad}, towards optimizing deep models globally via branch and pruning. The proposed BPGrad algorithm is based on the assumption of Lipschitz continuity in DL, and as a result, it can adaptively determine the step size for the current gradient given the history of previous updates, wherein theoretically no smaller steps can achieve the global optimality. We prove that, by repeating such a branch-and-pruning procedure, we can locate the global optimality within finite iterations. Empirically an efficient adaptive solver based on BPGrad for DL is proposed as well, and it outperforms conventional DL solvers such as Adagrad, Adadelta, RMSProp, and Adam in the tasks of object recognition, detection, and segmentation. The code is available at \url{this https URL}.

연구 동기 및 목표

• 기존 딥러닝 솔버에서 전역 최적성 보장을 하지 못하는 문제를 해결하기 위해.
• 국소 최소값에 머무르지 않고 전역 최소값을 체계적으로 탐색하는 최적화 프레임워크를 개발하기 위해.
• 브랜치 앤 프루닝 전략을 사용하여 유한한 반복 횟수 내에 전역 최적성으로의 수렴을 이론적으로 및 경험적으로 입증하기 위해.
• 하류 비전 작업에서 표준 적응형 최적화기인 Adam, Adagrad, Adadelta 및 RMSProp을 초월하기 위해.

제안 방법

• 딥 네URAL 네트워크에서 리프시츠 연속성의 가정에 기반하여 기울기 변화를 제한한다.
• 이력 업데이트를 사용하여 단계 크기를 적응적으로 결정함으로써 전역 최적성에 도달할 수 있는 더 작은 단계가 존재하지 않도록 보장한다.
• 전역 최적해 주변의 검색 공간을 좁히기 위해 반복적으로 브랜치 및 프루닝 메커니즘을 적용한다.
• 리프시츠 가정 하에 전역 최소값으로의 유한 수렴 이론적 보장을 유지한다.
• 딥러닝에 실용적으로 구현하기 위한 효율적인 적응형 솔버를 BPGrad에서 유도한다.
• 프루닝을 통해 열악한 영역을 제거하여 후보 영역을 동적으로 정밀화하는 방법을 사용한다.

실험 결과

연구 질문

• RQ1 합리적인 가정 하에 딥러닝 최적화 알고리즘이 전역 최적해로의 수렴을 보장할 수 있는가?
• RQ2 과도하게 작은 단계가 필요하지 않도록 전역 최적성을 보장하기 위해 적응형 단계 크기 선택을 어떻게 수학적으로 정의할 수 있는가?
• RQ3 비볼록 딥러닝 경관에서 브랜치 앤 프루닝 전략의 이론적 수렴 행동은 어떠한가?
• RQ4 제안된 BPGrad 방법은 실질적으로 Adam 및 RMSProp과 같은 표준 적응형 최적화기와 비교해 어떻게 성능을 내는가?
• RQ5 대규모 딥러닝 모델에 대해 브랜치 앤 프루닝 프레임워크를 효율적으로 구현할 수 있는가?

주요 결과

• 리프시츠 연속성 가정 하에 BPGrad는 유한한 반복 횟수 내에 전역 최적해로의 수렴을 보장한다.
• 적응형 단계 크기 메커니즘이 열악한 내림차순 방향을 방지함으로써 이론적 최적성을 확보한다.
• BPGrad 기반의 경험적 솔버는 객체 인식, 검출 및 세그멘테이션 벤치마크에서 뛰어난 성능을 달성한다.
• 모든 평가된 비전 작업에서 BPGrad는 Adam, Adagrad, Adadelta 및 RMSProp을 포함한 표준 최적화기들을 모두 능가한다.
• 이론적 엄밀함을 유지하면서도 효율적인 적응형 구현을 통해 실용적 구현이 가능하다.
• BPGrad의 코드는 공개되어 있어 재현성과 향후 연구를 지원한다.