[논문 리뷰] Let's Make Block Coordinate Descent Converge Faster: Faster Greedy Rules, Message-Passing, Active-Set Complexity, and Superlinear Convergence

Julie Nutini, Issam Laradji외 1명|arXiv (Cornell University)|2017. 12. 23.

Sparse and Compressive Sensing Techniques인용 수 12

한 줄 요약

이 논문은 더 빠른 탐욕적 블록 선택 규칙, 큰 희소 블록에 대한 효율적인 메시지 전달 기법, 그리고 초선형 수렴을 가능하게 하는 활성집합 복잡도 분석을 도입하여 블록 좌표 강하(BCD)를 가속화한다. 문제의 구조를 활용하고 더 엄밀한 진행도 경계를 설정함으로써, L1-정규화된 최소 제곱법, 로지스틱 회귀, 레이블 전파 문제에서 뚜렷한 속도 향상을 보여준다.

ABSTRACT

Block coordinate descent (BCD) methods are widely used for large-scale numerical optimization because of their cheap iteration costs, low memory requirements, amenability to parallelization, and ability to exploit problem structure. Three main algorithmic choices influence the performance of BCD methods: the block partitioning strategy, the block selection rule, and the block update rule. In this paper we explore all three of these building blocks and propose variations for each that can significantly improve the progress made by each BCD iteration. We (i) propose new greedy block-selection strategies that guarantee more progress per iteration than the Gauss-Southwell rule; (ii) explore practical issues like how to implement the new rules when using "variable" blocks; (iii) explore the use of message-passing to compute matrix or Newton updates efficiently on huge blocks for problems with sparse dependencies between variables; and (iv) consider optimal active manifold identification, which leads to bounds on the "active-set complexity" of BCD methods and leads to superlinear convergence for certain problems with sparse solutions (and in some cases finite termination at an optimal solution). We support all of our findings with numerical results for the classic machine learning problems of least squares, logistic regression, multi-class logistic regression, label propagation, and L1-regularization.

연구 동기 및 목표

• 대규모 최적화를 위한 블록 좌표 강하(BCD)에서 블록 선택, 분할, 업데이트 규칙에 대한 체계적인 연구 부족을 해결한다.
• 기본적인 가우스-서던웰 규칙보다 매 반복마다 더 많은 진전을 보장하는 새로운 탐욕적 블록 선택 전략을 제안하여 수렴 속도를 향상시킨다.
• 변수 간 희소 의존성 구조를 활용해 메시지 전달 기법을 적용함으로써, 큰 블록에서 행렬 및 뉴턴 업데이트를 효율적으로 계산할 수 있도록 한다.
• 활성집합 복잡도 분석을 통해 BCD가 희소 해를 위한 초선형 수렴 또는 유한 종료를 달성할 수 있는 조건을 규명한다.
• LASSO, 로지스틱 회귀, 레이블 전파를 포함한 다양한 기계학습 문제에서의 실험적 검증을 제공한다.

제안 방법

• 리프시츠 상수를 통합한 일반화된 탐욕적 블록 선택 규칙을 제안하여, 매 반복마다 더 큰 진전을 보장하는 가우스-서던웰-리프시츠 규칙의 확장이다.
• 변수 간 희소 의존성 구조를 활용해 메시지 전달 알고리즘을 도입하여, 큰 블록에서 행렬 또는 뉴턴 업데이트를 효율적으로 계산한다.
• 활성집합 복잡도 분석을 위한 프레임워크를 개발하여, BCD가 최적의 활성 다각형을 신속히 식별할 수 있음을 보여주며, 이로 인해 초선형 수렴이 가능하다.
• 변동 블록 분할 전략과 고정 블록 분할 전략을 구현하며, 블록 형성에 있어 리프시츠 상수의 순서 정렬, 평균화, 정렬 방법의 실험적 평가를 수행한다.
• 비미분 문제(예: L1-정규화)를 다루기 위해 선형 탐색과 프oks-업데이트를, 그리고 프로젝션 뉴턴 및 두 개의 미터릭 프로젝션 방법과 함께 사용한다.
• 정확한 값 계산이 어려운 경우 성능을 향상시키기 위해 리프시츠 상수($L_b$)에 대한 실용적인 근사치를 도입한다.

실험 결과

연구 질문

• RQ1 리프시츠 정보를 포함한 탐욕적 블록 선택 규칙이 기존의 가우스-서던웰 규칙보다 매 반복마다 더 큰 진전을 보일 수 있는가?
• RQ2 메시지 전달 기법을 어떻게 활용하여 BCD에서 희소로 구조화된 큰 블록에서 효율적인 업데이트를 계산할 수 있는가?
• RQ3 BCD가 초선형 수렴을 달성하는 조건은 무엇이며, 활성집합 복잡도를 어떻게 경계하여 이러한 행동을 설명할 수 있는가?
• RQ4 다양한 블록 분할 전략(고정 대 비고정, 순서 정렬 방법 등)이 탐욕적 BCD의 성능에 어떤 영향을 미치는가?
• RQ5 랜덤 블록 선택 규칙은 희소 문제에서 성능을 떨어뜨리는가? 그리고 더 스마트한 선택 전략으로 이를 완화할 수 있는가?

주요 결과

• 리프시츠 상수를 포함한 제안된 탐욕적 블록 선택 규칙은 가우스-서던웰 규칙을 일관되게 초월하여, 테스트된 모든 문제에서 더 빠른 수렴을 달성한다.
• 메시지 전달은 특히 격자나 최근접 이웃 구조를 가진 레이블 전파와 같은 희소 문제에서 큰 블록에서의 행렬 및 뉴턴 업데이트를 효율적으로 계산할 수 있도록 한다.
• 희소 해를 가지는 문제, 예를 들어 L1-정규화된 최소 제곱법에서는 빠른 활성집합 식별로 인해 초선형 수렴이 관찰된다.
• 정확한 활성집합 탐지로 인해 일부 경우에서 최적 해에서의 유한 종료가 달성되며, 활성집합 복잡도 경계에 의해 이를 확인할 수 있다.
• 큰 블록 크기에서는 전역 $L_b$ 추정치가 느슨할 경우, 리프시츠 근사 절차(LA)가 난이도 있는 상한보다 성능 향상이著명하다.
• 희소 문제에서는 반복적으로 비활성 또는 이미 0인 변수가 선택되므로, 무작위 블록 선택은 성능이 열 劣하며, 이를 단계적 수렴 곡선의 형태로 확인할 수 있다.