[논문 리뷰] Let's Make Block Coordinate Descent Go Fast: Faster Greedy Rules, Message-Passing, Active-Set Complexity, and Superlinear Convergence

Julie Nutini, Issam Laradji외 1명|arXiv (Cornell University)|2017. 12. 23.

Sparse and Compressive Sensing Techniques참고 문헌 85인용 수 29

한 줄 요약

이 논문은 블록 좌표 강하(BCD) 방법을 새로운 탐욕적 블록 선택 규칙, 효율적인 메시지 전달 기법, 활성 집합 복잡도 상한, 최적의 다양체 식별을 통한 초선형 수렴을 통해 가속화한다. 실험 결과로 최소 제곱법, 로지스틱 회귀, L1-정규화 문제에서 뚜렷한 속도 향상이 확인되었다.

ABSTRACT

Block coordinate descent (BCD) methods are widely-used for large-scale numerical optimization because of their cheap iteration costs, low memory requirements, amenability to parallelization, and ability to exploit problem structure. Three main algorithmic choices influence the performance of BCD methods: the block partitioning strategy, the block selection rule, and the block update rule. In this paper we explore all three of these building blocks and propose variations for each that can lead to significantly faster BCD methods. We (i) propose new greedy block-selection strategies that guarantee more progress per iteration than the Gauss-Southwell rule; (ii) explore practical issues like how to implement the new rules when using variable blocks; (iii) explore the use of message-passing to compute matrix or Newton updates efficiently on huge blocks for problems with a sparse dependency between variables; and (iv) consider optimal manifold identification, which leads to bounds on the active set complexity of BCD methods and leads to superlinear convergence for certain problems with sparse solutions (and in some cases finite termination at an optimal solution). We support all of our findings with numerical results for the classic machine learning problems of least squares, logistic regression, multi-class logistic regression, label propagation, and L1-regularization.

연구 동기 및 목표

• 대규모 최적화에서 블록 좌표 강하(BCD) 방법의 수렴 속도를 향상시키는 것.
• 기존 규칙인 가우스-서던웰보다 각 반복에서 더 많은 진전을 보장하는 새로운 탐욕적 블록 선택 전략을 개발하는 것.
• 변수 간 의존성의 흩어진 구조를 활용해 메시지 전달을 통해 큰 블록에서 행렬 또는 뉴턴 업데이트를 효율적으로 계산할 수 있도록 하는 것.
• BCD의 활성 집합 복잡도에 대한 이론적 상한을 설정하고, 초선형 수렴이 이루어지는 조건을 규명하는 것.
• 최소 제곱법, 로지스틱 회귀, L1-정규화 문제 등 핵심 기계 학습 문제에서 실용적인 성능 향상을 입증하는 것.

제안 방법

• 예측된 진전을 기반으로 블록을 우선순위 정렬하는 새로운 탐욕적 블록 선택 규칙을 제안하여, 가우스-서던웰보다 더 빠른 수렴을 보장한다.
• 변수 간 의존성의 흩어진 구조를 활용해 메시지 전달 기법을 도입하여 큰 블록에서의 업데이트를 효율적으로 계산한다.
• 다양체 식별을 통한 활성 집합 복잡도 분석을 수행하여, 특정 조건 하에서 BCD가 유한 시간 내에 최적의 활성 집합을 식별할 수 있음을 보여준다.
• 희소 해를 가진 문제에서 BCD가 초선형 수렴을 보이는 조건을 유도한다.
• 변동 블록 크기를 고려해 제안된 규칙을 실용적으로 효율적으로 구현한다.
• 최소 제곱법, 로지스틱 회귀, 다중 클래스 로지스틱 회귀, 레이블 전파, L1-정규화 문제에 대한 수치 실험을 통해 이론적 주장의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 가우스-서던웰 규칙보다 각 반복에서 더 많은 진전을 보장하는 탐욕적 블록 선택 규칙를 설계할 수 있는가?
• RQ2 BCD에서 큰 흩어진 블록에서 업데이트를 효율적으로 계산하기 위해 메시지 전달을 어떻게 활용할 수 있는가?
• RQ3 BCD의 이론적 활성 집합 복잡도는 무엇이며, 어떤 조건에서 유한한 종료를 이끌 수 있는가?
• RQ4 희소 해를 가진 문제에서 BCD가 초선형 수렴을 달성하는 조건은 무엇인가? 특히 희소 해에 대해.
• RQ5 제안된 방법이 다양한 기계 학습 문제에서 뚜렷한 속도 향상을 제공할 수 있는가?

주요 결과

• 제안된 탐욕적 블록 선택 규칙는 항상 가우스-서던웰 규칙보다 반복당 더 많은 진전을 보이며, 더 빠른 수렴을 이끈다.
• 메시지 전달 기법을 통해 큰 블록에서 행렬 또는 뉴턴 업데이트를 효율적으로 계산할 수 있어, 흩어진 문제에서 계산 비용을 감소시킨다.
• 활성 집합 복잡도 상한을 확립하여, 유리한 조건 하에서 BCD가 유한 시간 내에 최적의 활성 집합을 식별할 수 있음을 보여준다.
• 희소 해를 가진 문제에서는 초선형 수렴이 달성되며, 일부 경우에서는 유한 종료가 관찰된다.
• 수치 결과는 최소 제곱법, 로지스틱 회귀, L1-정규화 문제 등 모든 테스트 문제에서 뚜렷한 속도 향상이 있음을 보여준다.
• 제안된 방법은 잘 스케일링되며, 낮은 메모리 사용을 유지하여 대규모 환경에서 BCD의 핵심 이점을 그대로 유지한다.