[논문 리뷰] A Light Touch for Heavily Constrained SGD

Andrew Cotter, Maya R. Gupta외 1명|arXiv (Cornell University)|2015. 12. 15.

Stochastic Gradient Optimization Techniques인용 수 3

한 줄 요약

이 논문은 많은 약속 조건을 가진 대규모 볼록 최적화 문제를 위한 스토하스틱 최적화 방법인 LightTouch를 제안한다. 이 방법은 각 반복에서 약속 조건에 대한 동적으로 업데이트되는 확률 분포를 사용해, 전체 조건 중 일부만 검사한다. 이로 인해 제약 조건 검사 횟수를 m에 대해 로그적 의존도로 줄일 수 있으며 수렴성은 유지하면서, 24,576개의 제약 조건이 있는 실제 랭킹 작업에서 프로젝션된 SGD보다 런타임에서 뛰어난 성능을 보였다.

ABSTRACT

Minimizing empirical risk subject to a set of constraints can be a useful strategy for learning restricted classes of functions, such as monotonic functions, submodular functions, classifiers that guarantee a certain class label for some subset of examples, etc. However, these restrictions may result in a very large number of constraints. Projected stochastic gradient descent (SGD) is often the default choice for large-scale optimization in machine learning, but requires a projection after each update. For heavily-constrained objectives, we propose an efficient extension of SGD that stays close to the feasible region while only applying constraints probabilistically at each iteration. Theoretical analysis shows a compelling trade-off between per-iteration work and the number of iterations needed on problems with a large number of constraints.

연구 동기 및 목표

• 매우 많은 수의 제약 조건을 다룰 때 프로젝션된 확률적 경사하강법(SGD)의 계산적 병목 현상 문제를 해결하기 위해.
• 특히 최적점에서 활성인 제약 조건의 비율이 매우 낮은 경우, 제약 조건 평가의 반복 단위 비용을 줄이기 위해.
• 각 반복에서의 제약 조건 검사 횟수를 최소화하면서도 타당성을 유지하는 실용적인 알고리즘을 개발하여, 대규모 머신러닝 문제의 확장성 향상.
• 특히 많은 수의 제약 조건이 있는 문제에서 총 제약 조건 검사 횟수 측면에서 향상된 수렴 속도를 분석하고 실험적으로 보여주기 위해.

제안 방법

• 알고리즘은 시간이 지남에 따라 변화하는 제약 조건에 대한 확률 분포를 사용하며, 각 반복에서 가장 위반된 제약 조건에 집중한다.
• 각 반복에서, 제약 조건의 작은 무작위 샘플링된 부분집합만 검사하고, 이 샘플링된 제약 조건들에 기반해 해를 타당성 쪽으로 조정한다.
• 알고리즘은 제약 조건 위반의 누적 추정치를 유지하며, 더 위반된 제약 조건을 우선시하는 샘플링 분포를 업데이트하여 비활성 제약 조건의 검사 횟수를 줄인다.
• 강한 볼록 목적 함수에 대해선, 강한 볼록성을 활용해 수렴 속도를 향상시키는 변형인 MidTouch를 제안한다.
• 각 단계에서 전체 투영을 피하기 위해 경량의 확률적 강제 전략을 사용하며, 최종적으로만 투영을 수행한다.
• 스토하스틱 업데이트의 세 구성 요소인 목적 함수 기울기, 제약 조건 샘플링, 투영을 균형 있게 조절하기 위해 동적 미니배치 기법을 도입한다.

실험 결과

연구 질문

• RQ1 매우 많은 수의 제약 조건이 있는 문제에서, 수렴성을 희생시키지 않고도 프로젝션된 SGD의 반복 단위 제약 조건 검사 횟수를 줄일 수 있는가?
• RQ2 큰 제약 조건 집합에서 가장 관련 있는(즉, 가장 위반된) 제약 조건을 효율적으로 식별하고 집중할 수 있는가?
• RQ3 대규모 제약 조건 최적화에서 반복 단위 계산량과 총 제약 조건 검사 횟수 사이의 이론적 트레이드오프는 어떠한가?
• RQ4 확률적 제약 조건 샘플링 전략이 전체 투영 방법과 비교해 런타임과 타당성 측면에서 유사하거나 더 나은 수렴 성능을 달성할 수 있는가?

주요 결과

• 비강한 볼록 문제에 대해 ϵ-하위최적성에 도달하기 위한 총 제약 조건 검사 횟수는 O(m/ϵ²)에서 Õ((ln m)/ϵ² + m(ln m)^1.5/ϵ^1.5)로 감소한다.
• λ-강한 볼록 목적 함수에 대해선, 제약 조건 검사 횟수의 주요 항이 O(m/λ²ϵ)에서 Õ((ln m)/λ²ϵ)로 감소하며, m에 대한 점 渐진적 의존도가 향상된다.
• 실제로 LightTouch는 FullTouch와 ApproxSGD보다 반복 단위로 더 적은 제약 조건을 검사하며, 최적화가 진행됨에 따라 검사 횟수가 점차 감소한다.
• 24,576개의 제약 조건과 612,587개의 예제가 있는 실제 유튜브 랭킹 문제에서, 제약 조건 평가가 저렴한 경우에도 LightTouch는 FullTouch와 ApproxSGD보다 월드클록 런타임에서 뛰어난 성능을 보였다.
• 더 많은 제약 조건이나 더 비싼 제약 조건이 존재할 경우, 분포 유지를 위한 O(m) 비용이 더 이상 지배적이지 않게 되므로, 알고리즘의 성능 우위는 더욱 커질 것으로 기대된다.