[논문 리뷰] A Fast, Principled Working Set Algorithm for Exploiting Piecewise Linear Structure in Convex Problems

Tyler B. Johnson, Carlos Guestrin|arXiv (Cornell University)|2018. 07. 20.

Machine Learning and Algorithms참고 문헌 62인용 수 3

한 줄 요약

이 논문은 볼록 최적화 문제의 조각별 선형 구조를 활용하여 반복마다 이론적 보장이 있는 진전을 보장하는 빠르고 원리에 기반한 워킹 세트 알고리즘인 BlitzWS를 소개한다. 이 알고리즘은 희소 로지스틱 회귀 및 선형 서포트 벡터 머신과 같은 다양한 문제에서 LibLinear를 능가하는 수렴 속도를 보이며, 기존 방법보다 더 효과적으로 목적 함수를 단순화하는 새로운 안전 스크리닝 테스트인 BlitzScreen을 도입한다.

ABSTRACT

By reducing optimization to a sequence of smaller subproblems, working set algorithms achieve fast convergence times for many machine learning problems. Despite such performance, working set implementations often resort to heuristics to determine subproblem size, makeup, and stopping criteria. We propose BlitzWS, a working set algorithm with useful theoretical guarantees. Our theory relates subproblem size and stopping criteria to the amount of progress during each iteration. This result motivates strategies for optimizing algorithmic parameters and discarding irrelevant components as BlitzWS progresses toward a solution. BlitzWS applies to many convex problems, including training L1-regularized models and support vector machines. We showcase this versatility with empirical comparisons, which demonstrate BlitzWS is indeed a fast algorithm.

연구 동기 및 목표

• 반복마다 진전에 대한 이론적 보장을 갖는 워킹 세트 알고리즘을 개발하여 히وري스틱 기반의 하위문제 선택을 넘어설 것.
• ℓ₁-정규화 모델과 서포트 벡터 머신 등에서 나타나는 조각별 선형 구조를 활용하여 목적 함수를 조각별 항의 합으로 재구성함으로써 문제를 해결할 것.
• 해결책에서 영이 되는 성분을 보장적으로 식별하여 제거하는 안전 스크리닝 테스트인 BlitzScreen을 설계하여 이전 방법보다 더 넓은 적용 범위와 더 큰 단순화 효과를 달성할 것.
• 다양한 기계학습 문제에서의 수렴 속도를 실험적으로 검증하여, 특히 희소 로지스틱 회귀에서 BlitzWS의 우수성을 입증할 것.
• 워킹 세트 최적화에서 하위문제 선택, 파rameter 적응, 성분 제거를 통합하고 원리에 기반한 프레임워크를 제공할 것.

제안 방법

• BlitzWS는 목적 함수의 일부 조각별 항을 선형 하위함수로 선택적으로 대체하여 하위문제의 시퀀스로 최적화를 재구성함으로써 더 빠른 최소화를 가능하게 한다.
• 하위문제 크기와 정지 기준을 보장된 진전과 연결하는 이론적 프레임워크를 사용하여, 이론적으로 근거 있는 하위문제 구성이 가능해진다.
• 진전 분석에 기반해 파rameter를 동적으로 적응시켜 수렴함에 따라 효율성이 향상된다.
• 기하학적 구조를 사용해 진짜 활성 세트를 근사하는 캡슐 근사(approximation)를 도입하여 워킹 세트를 효율적으로 계산한다.
• BlitzScreen은 해에서 영이 되는 성분을 보장적으로 식별하여 최적화 이전에 문제를 단순화하는 안전 스크리닝 테스트이다.
• 통일된 조각별 문제 공식화를 통해 ℓ₁-정규화 회귀, 서포트 벡터 머신, 최소 노름 다각체 문제 등 광범위한 문제 클래스에 적용 가능하다.

실험 결과

연구 질문

• RQ1 히وري스틱에 의존하지 않고 반복마다 진전에 대한 이론적 보장을 갖는 워킹 세트 알고리즘을 설계할 수 있는가?
• RQ2 하위문제 크기, 성분 선택, 정지 기준을 체계적으로 최적화하여 수렴 속도를 극대화할 수 있는가?
• RQ3 이전 방법보다 더 넓은 범위의 문제에 적용 가능하고 목적 함수를 더 효과적으로 단순화하는 안전 스크리닝 테스트를 개발할 수 있는가?
• RQ4 이론적 우수성에도 불구하고 실질적으로 안전 스크리닝이 전체 수렴 시간에 얼마나 기여하는가?
• RQ5 다양한 볼록 최적화 문제에서 기존의 솔버인 LibLinear와 비교해 BlitzWS의 성능은 어떠한가?

주요 결과

• BlitzWS는 희소 로지스틱 회귀에서 특히 뚜렷하게 LibLinear를 능가하는 수렴 속도를 보이며, 다양한 데이터셋에서 일관된 향상이 이루어졌다.
• BlitzWS의 캡슐 근사는 진짜 워킹 세트에 매우 높은 정밀도를 유지하였으며, 모든 테스트 케이스에서 |W_cap| ≈ |W|를 기록하여 하위문제 품질에 미치는 영향이 최소화됨을 시사한다.
• BlitzScreen은 더 작은 안전 영역 덕분에 이전의 안전 스크리닝 방법보다 목적 함수를 더 효과적으로 단순화한다.
• 이론적 우수성에도 불구하고 실질적으로 BlitzScreen은 전체 수렴 시간에 거의 영향을 주지 않아, 스크리닝보다 하위문제 설계가 더 중요함을 시사한다.
• BlitzWS는 거의 모든 경우에서 LibLinear보다 더 빠른 수렴 속도를 달성하여, 성능 향상에 있어 원리에 기반한 하위문제 선택이 스크리닝보다 더 큰 영향을 미친다는 것을 입증한다.