[논문 리뷰] Projection-Free Adaptive Gradients for Large-Scale Optimization

Cyrille W. Combettes, Christoph Spiegel외 1명|arXiv (Cornell University)|2020. 09. 29.

Stochastic Gradient Optimization Techniques참고 문헌 37인용 수 5

한 줄 요약

이 논문은 대규모 제약 최적화를 위한 투영 자유(adaptive) 기울기 방법인 AdaSFW를 제안한다. 이 방법은 비유클리드 투영 하위문제를 고정된 수의 Frank-Wolfe 반복을 통해 해결함으로써 스위치 프rank-Wolfe 알고리즘에 적응형 스텝 사이즈를 통합한다. 이는 신경망 학습 작업에서 기존의 최상위 수준의 스위치 프rank-Wolfe 및 적응형 기울기 방법보다 더 빠른 수렴 속도와 뛰어난 테스트 정확도를 달성한다. 특히 비볼록 설정에서 두드러진 성능을 보인다.

ABSTRACT

The complexity in large-scale optimization can lie in both handling the objective function and handling the constraint set. In this respect, stochastic Frank-Wolfe algorithms occupy a unique position as they alleviate both computational burdens, by querying only approximate first-order information from the objective and by maintaining feasibility of the iterates without using projections. In this paper, we improve the quality of their first-order information by blending in adaptive gradients. We derive convergence rates and demonstrate the computational advantage of our method over the state-of-the-art stochastic Frank-Wolfe algorithms on both convex and nonconvex objectives. The experiments further show that our method can improve the performance of adaptive gradient algorithms for constrained optimization.

연구 동기 및 목표

• 대규모 제약 최적화에서 투영 기반 적응형 기울기 방법의 계산 비효율성을 해결하기 위해.
• 적응형 기울기를 통합함으로써 스위치 프rank-Wolfe 알고리즘의 1차 정보 품질을 향상시키기 위해.
• 비용이 많이 드는 투영을 필요로 하지 않고도 적응형 스텝 사이즈를 활용할 수 있는 투영 자유 프레임워크를 개발하기 위해.
• 기존의 스위치 프rank-Wolfe 및 적응형 기울기 알고리즘과 비교해 제안된 방법의 계산 및 수렴 성능 우수성을 입증하기 위해.
• 특히 제약층이 있는 딥러닝 설정에서의 볼록 및 비볼록 목표 함수에 대해 방법을 평가하기 위해.

제안 방법

• 적응형 기울기 알고리즘에서 정확한 비유클리드 투영을 고정된 수 K의 Frank-Wolfe 반복을 통해 하위문제를 근사적으로 해결함으로써 대체한다.
• 기존 Adam이나 AdaGrad와 유사한 역사를 기반으로 한 적응형 스텝 사이즈를 사용하지만, 투영 자유 설정에 적용한다.
• SFW, SVRF, STORC, CSFW와 같은 다양한 스위치 프rank-Wolfe 변종에 적용할 수 있는 일반적인 템플릿을 제안한다.
• 제약 집합 위에서 선형 최소화 오ракูล(oracle)에만 의존하여, 투영 없이도 반복의 탇도를 유지한다.
• Adam과 AMSGrad를 영감으로 삼아 수렴 속도를 더욱 향상시키기 위해 모멘텀 강화 버전인 AdamSFW를 도입한다.
• 학습 전반에 걸쳐 일정한 배치 크기를 사용하여, 시간에 따라 배치 크기를 조정할 필요가 없도록 한다.

실험 결과

연구 질문

• RQ1 적응형 기울기가 투영 자유 스위치 프rank-Wolfe 알고리즘에 효과적으로 통합되어 수렴 속도와 성능 향상이 가능한가?
• RQ2 적응형 기울기 하위문제를 소수의 Frank-Wolfe 반복으로 해결함으로써 수렴 보장을 유지하면서 계산 비용을 줄일 수 있는가?
• RQ3 신경망에서의 학습 및 테스트 성능 측면에서 제안된 방법이 최상위 수준의 스위치 프rank-Wolfe 및 적응형 기울기 알고리즘보다 어떻게 비교되는가?
• RQ4 비볼록 최적화, 특히 제약층이 있는 딥러닝에서 바닐라 SFW의 성능을 향상시킬 수 있는가?
• RQ5 복잡한 제약 집합에서 투영이 비용이 많이 드는 경우, 제안된 방법의 계산적 우위가 더 두드러지는가?

주요 결과

• IMDB 감성 분석 작업에서 AdaSFW는 모든 베이스라인(AdamSFW 및 AdaGrad 포함)보다 더 빠르게 수렴하고 더 높은 정확도를 달성하여 최고의 테스트 정확도를 기록했다.
• CIFAR-10 이미지 분류 작업에서 AdaSFW와 AdamSFW는 모든 다른 투영 자유 알고리즘보다 뛰어난 성능을 보였으며, 그 중에서도 AdaSFW가 가장 강력한 성능을 보였다.
• IMDB 및 CIFAR-10 양쪽 모두에서 바닐라 SFW가 SVRF, SPIDER-FW, ORGFW와 같은 분산 감소 변종보다 높은 테스트 정확도를 기록하여, 딥러닝에서 분산 감소가 항상 일반화 성능 향상에 기여하는 것은 아님을 시사한다.
• AdaSFW는 볼록 및 비볼록 설정 모두에서 바닐라 SFW의 성능을 향상시켜, 제약이 있는 딥러닝에서의 효과성을 입증했다.
• 일정한 배치 크기를 사용함으로써 계산 효율성을 유지하였고, SVRF 및 STORC와 달리 배치 크기 증가가 필요 없었다.
• 결과적으로, 적응형 기울기가 투영 자유 최적화에서 성공적으로 활용될 수 있으며, 특히 투영이 비용이 많이 드는 복잡한 제약 집합에서 두드러진다.