[논문 리뷰] Large-scale randomized-coordinate descent methods with non-separable linear constraints

Sashank J. Reddi, Ahmed Hefny외 3명|arXiv (Cornell University)|2014. 09. 09.

Stochastic Gradient Optimization Techniques참고 문헌 32인용 수 10

한 줄 요약

이 논문은 비분리 선형 제약 조건을 가진 대규모 볼록 최적화 문제를 위한 랜덤화된 블록 좌표 강하 방법을 제안한다. 이는 SVM 이중 문제와 퓌즈드 라소와 같은 문제의 효율적 해법을 가능하게 하며, 제약 조건 수에 대한 지수적 의존도 없이 전역 반복 복잡도를 확보함으로써 이전 연구에서의 문제점을 해결한다. 또한 수렴 보장이 있는 비동기 및 확률적 변종을 도입한다.

ABSTRACT

We develop randomized (block) coordinate descent (CD) methods for linearly constrained convex optimization. Unlike most CD methods, we do not assume the constraints to be separable, but let them be coupled linearly. To our knowledge, ours is the first CD method that allows linear coupling constraints, without making the global iteration complexity have an exponential dependence on the number of constraints. We present algorithms and analysis for four key problem scenarios: (i) smooth; (ii) smooth + nonsmooth separable; (iii) asynchronous parallel; and (iv) stochastic. We illustrate empirical behavior of our algorithms by simulation experiments.

연구 동기 및 목표

• 비분리 선형 제약 조건을 다룰 수 있는 랜덤화된 블록 좌표 강하 방법을 개발하여 제약 조건 수에 대한 지수적 의존도 없이 구현한다.
• 결합된 선형 제약 조건 하에서 복합, 확률적, 비동기 설정으로 좌표 강하를 확장한다.
• 제약 조건 수에 독립적인 반복 복잡도로 이론적 수렴 보장을 제공한다.
• SVM 이중 문제와 그룹 라소와 같은 대규모 머신 러닝 문제에서 실용적인 확장성을 확보한다.
• 다중 선형 제약 조건을 가진 이전 CD 방법에서 나타나는 지수적 복잡도 장벽을 극복한다.

제안 방법

• 제약 행렬 $ A \in \mathbb{R}^{m \times n} $ 의 구조에 기반해 변수를 블록으로 분할하는 랜덤화된 블록-CD 프레임워크를 도입하여 비분리 결합을 허용한다.
• 타겟 함수의 타당성을 유지하면서 변수 블록을 갱신하기 위해 수정된 부분 문제를 사용하는 이중 상승 접근 방식을 적용한다.
• 부드럽고 복합 목표 함수에 대해 수렴 분석이 가능한 랜덤화된 블록 선택 규칙을 활용한다.
• 비동기 변종에서 경쟁을 줄이고 스피드업을 향상시키기 위해 스팟락 기반의 동기화를 적용한다.
• 그램 행렬을 저장하지 않기 위해 원시 가중치 벡터를 사용해 실시간으로 기울기 계산을 수행한다.
• SVM 이중 문제의 상자 제약 조건을 위해 더블 락킹을 사용하여 병렬 갱신 중에도 타당성을 유지한다.

실험 결과

연구 질문

• RQ1 비분리 선형 제약 조건을 가진 문제에 대해 랜덤화된 블록 좌표 강하를 다항식 반복 복잡도를 유지하면서 확장할 수 있는가?
• RQ2 제안된 방법이 이전 연구에서 관찰된 제약 조건 수에 대한 지수적 의존도를 피할 수 있는가?
• RQ3 이 프레임워크는 수렴 보장이 있는 비동기 및 확률적 설정으로 확장될 수 있는가?
• RQ4 제안된 방법의 대규모 머신 러닝 문제에서의 경험적 성능은 어떠한가?
• RQ5 제약 조건 수 $ m $ 또는 블록 수 $ b $ 에 대한 지수적 의존도 없이 $ O(1/k) $ 수렴 속도를 달성할 수 있는가?

주요 결과

• 제안된 방법은 $ m \geq 1 $ 개의 선형 제약 조건이 있는 부드러운 문제에서 $ O(1/\epsilon) $ 전역 반복 복잡도를 달성하며, 이는 $ m $ 에 독립적이다.
• 분리 가능한 비부드러운 항이 포함된 복합 케이스에서는 이전 연구 대비 더 날카운 수렴 속도를 확보하며, 특히 합 제약 조건 하에서 두드러진다.
• 비동기 변종은 동기 버전 대비 상당한 스피드업을 달성하며, 특히 스타 + 링 구조와 같은 고콘텐션 토폴로지에서 두드러진다.
• a7a 및 w8a 데이터셋에서 병렬 CD 방법은 희박한 특성 겹침과 원자적 갱신을 통해 최대 15배의 스피드업을 달성한다.
• 더블 락킹과 원자적 연산을 통해 동시 갱신 중에도 타당성과 수렴성을 유지한다.
• 경험적 결과는 비동기 방법이 분산 환경에서 동기 버전 대비 스피드업과 실행 시간 측면에서 뛰어나다는 것을 보여준다.