[논문 리뷰] SEBOOST - Boosting Stochastic Learning Using Subspace Optimization Techniques

Elad Richardson, Rom Herskovitz외 2명|arXiv (Cornell University)|2016. 09. 02.

Metaheuristic Optimization Algorithms Research인용 수 5

한 줄 요약

SEBOOST는 누적된 내림값 단계와 방향에 대해 보조 하위공간 최적화를 적용하여 기반 알고리즘을 수정하지 않고도 수렴성과 견고성을 향상시킨다. 딥러닝 작업에서 최소한의 계산 오버헤드로 뛰어난 성능을 달성하며, 기반 단계와 부스팅 단계의 균형을 조절하는 데에 단 두 개의 하이퍼파rameter만을 사용한다.

ABSTRACT

We present SEBOOST, a technique for boosting the performance of existing stochastic optimization methods. SEBOOST applies a secondary optimization process in the subspace spanned by the last steps and descent directions. The method was inspired by the SESOP optimization method for large-scale problems, and has been adapted for the stochastic learning framework. It can be applied on top of any existing optimization method with no need to tweak the internal algorithm. We show that the method is able to boost the performance of different algorithms, and make them more robust to changes in their hyper-parameters. As the boosting steps of SEBOOST are applied between large sets of descent steps, the additional subspace optimization hardly increases the overall computational burden. We introduce two hyper-parameters that control the balance between the baseline method and the secondary optimization process. The method was evaluated on several deep learning tasks, demonstrating promising results.

연구 동기 및 목표

• 기존 스트로스틱 최적화 알고리즘의 내부 메커니즘을 수정하지 않고도 일반 목적의 방법을 개발하는 것.
• 딥러닝 학습에서 수렴 속도와 하이퍼파rameter 선택에 대한 민감도를 향상시키는 것.
• 기반 단계 사이에 주기적으로만 보조 최적화를 적용하여 계산 오버헤드를 최소화하는 것.
• 자기 하위공간의 구조—예를 들어 앵커 포인트와 모멘텀—이 최적화 성능에 미치는 영향을 탐색하는 것.
• 다양한 최적화 기반과 향후 확장 사례인 분산 또는 프루닝 최적화와의 탄력적인 통합을 가능하게 하는 것.

제안 방법

• SEBOOST는 기반 스트로스틱 알고리즘에서 누적된 내림값 단계와 이전 방향으로 생성된 저차원 하위공간에서 보조 최적화를 적용한다.
• 이 방법은 기반 최적화기(예: SGD, Adam)의 여러 단계와 하위공간 최적화 단계를 번갈아 적용한다. 하위공간 최적화 단계는 애핀 하위공간에서 손실을 최소화하는 것을 목표로 한다.
• 하위공간에는 최근 몇 개의 내림값 방향과 함께, 사전 정의된 r-값을 가진 모멘텀 또는 앵커 포인트와 같은 추가 벡터들이 포함될 수 있다.
• 하위공간 최적화는 트러스트 영역 유사 방법을 통해 해결되며, 선 탐색 또는 트러스트 영역 방법을 사용해 하위공간 내에서 목표 함수를 최소화한다.
• 이 과정을 제어하는 두 가지 핵심 하이퍼파rameter가 있다: M(보조 최적화 단계 이전의 기반 단계 수)와 ℓ(보조 최적화 단계의 빈도, 예: 매 에포크마다).
• 하위공간이 꽉 찬 경우, 가장 오래된 방향은 기각되며, 향후 작업을 위해 더 고급의 프루닝 전략이 제안된다.

실험 결과

연구 질문

• RQ1 저차원 하위공간에서의 보조 최적화가 표준 스트로스틱 최적화 방법의 성능을 크게 향상시킬 수 있는가?
• RQ2 SEBOOST는 다양한 딥러닝 작업에서 수렴 속도와 최종 일반화 오차에 어떤 영향을 미치는가?
• RQ3 SEBOOST는 기반 최적화기의 하이퍼파rameter 선택에 대한 민감도를 어느 정도 감소시키는가?
• RQ4 앵커 포인트나 모멘텀과 같은 다양한 하위공간 구성 요소가 SEBOOST의 성능에 어떤 영향을 미치는가?
• RQ5 SEBOOST는 분산 또는 병렬 학습 프레임워크로 효율적으로 확장될 수 있는가?

주요 결과

• SEBOOST는 MNIST 오토에인코드와 이미지 분류를 포함한 여러 딥러닝 작업에서 수렴 속도와 최종 손실을 크게 향상시켰다.
• MNIST 오토에인코드의 경우, M=20로 설정한 SEBOOST는 M=50일 때와 동일한 최소 손실을 달성했지만 더 일찍 하강을 시작하여 속도와 정확성 사이의 유리한 트레이드오���을 보였다.
• 기반 학습률의 변화에 대해 강건성을 보였으며, 보조 최적화가 없는 기반 모델보다 성능 저하가 덜 두드러졌다.
• r=500, 250, 100, 50, 20로 설정한 앵커 포인트를 추가하면 성능 향상이著명했고, 모멘텀 벡터는 유의미한 성능 향상은 없었으며, 앵커 포인트와 함께 사용할 경우 때로는 성능 저하를 초래하기도 했다.
• SEBOOST의 계산 비용은 낮은 편이었으며, 보조 최적화가 기반 단계 수개당 한 번만 적용되기 때문에 대규모 모델에 대해서도 확장 가능했다.
• SEBOOST는 내부 논리 구조를 수정하지 않고도 기존 최적화기 위에 적용할 수 있어 매우 모듈화되어 있으며, 통합이 용이했다.