[논문 리뷰] Hybrid Random/Deterministic Parallel Algorithms for Nonconvex Big Data Optimization

Amir Daneshmand, Francisco Facchinei외 2명|arXiv (Cornell University)|2014. 07. 16.

Sparse and Compressive Sensing Techniques참고 문헌 39인용 수 12

한 줄 요약

이 논문은 매끄럽지 않은 비볼록 함수와 비매끄러운 볼록 정규화항을 포함하는 비볼록, 대규모 최적화 문제를 위한 하이브리드 랜덤/결정적 병렬 블록좌표강하 알고리즘을 제안한다. 랜덤으로 변수 블록을 선택하는 것과 국소적 진전을 기반으로 한 결정적 부분 선택을 조합함으로써, 순수하게 랜덤 또는 순수하게 결정적인 방법보다 더 빠른 수렴 속도를 달성하면서도 거의 확실히 정적점에 수렴함을 보장한다.

ABSTRACT

We propose a decomposition framework for the parallel optimization of the sum of a differentiable {(possibly nonconvex)} function and a nonsmooth (possibly nonseparable), convex one. The latter term is usually employed to enforce structure in the solution, typically sparsity. The main contribution of this work is a novel \emph{parallel, hybrid random/deterministic} decomposition scheme wherein, at each iteration, a subset of (block) variables is updated at the same time by minimizing local convex approximations of the original nonconvex function. To tackle with huge-scale problems, the (block) variables to be updated are chosen according to a \emph{mixed random and deterministic} procedure, which captures the advantages of both pure deterministic and random update-based schemes. Almost sure convergence of the proposed scheme is established. Numerical results show that on huge-scale problems the proposed hybrid random/deterministic algorithm outperforms both random and deterministic schemes.

연구 동기 및 목표

• 기계학습 및 데이터 과학에서 흔한, 비매끄러운 정규화항을 포함한 대규모 비볼록 최적화 문제를 해결하고자 한다.
• 병렬 블록좌표강하 방법에서 순수하게 랜덤 또는 순수하게 결정적인 블록 선택 규칙의 한계를 극복하고자 한다.
• 랜덤 선택의 저비용 특성과 그로 인한 빠른 수렴 속도를 지닌 탐욕적 결정적 업데이트를 조합한 하이브리드 기법을 설계하고자 한다.
• 비볼록 문제에 대해 비매끄러운 정규화항이 존재할 때, 제안된 알고리즘이 거의 확실히 정적점으로 수렴함을 보장하고자 한다.
• 기존의 랜덤 및 결정적 접근 방식과 비교하여, 초대규모 문제에서 뛰어난 성능을 보여주고자 한다.

제안 방법

• 알고리즘은 두 단계 블록 선택 전략을 사용한다: 먼저 랜덤으로 블록의 부분집합을 선택하고, 그 다음 국소적 내림막 잠재력에 기반해 가장 유망한 블록을 결정적으로 선택한다.
• 각 반복 단계에서, 비볼록 목표 함수의 국소적 볼록 근사값을 선택된 블록 위에서 최소화하며, 원래 문제의 구조를 유지한다.
• 각 단계에서 목표 함수의 충분한 감소를 보장하기 위해 백트랙킹 선색색을 적용한다.
• 수렴 분석은 반복값과 그 예측된 업데이트 간의 거리에 대한 경계를 활용하며, 기울기의 리프시츠 연속성과 부정확한 해에 대한 오차 경계를 사용한다.
• 이론적 보장을 위해 리아푸노프 유사 함수와 목표 함수 수열의 수렴에 기반한 모순 추론을 사용한다.
• 알고리즘은 통신 오버헤드를 최소화하면서도 분산 또는 다중코어 환경에 적합하고 확장 가능한 구조로 설계되어 있다.

실험 결과

연구 질문

• RQ1 병렬 비볼록 최적화에서, 하이브리드 랜덤/결정적 블록 선택 전략이 순수하게 랜덤 또는 순수하게 결정적인 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ2 랜덤 샘플링과 결정적 정밀화를 조합함으로써, 수렴 보장을 유지하면서도 수렴 속도를 향상시킬 수 있는가?
• RQ3 비매끄러운 정규화항이 존재하는 비볼록 문제에 대해, 병렬 블록좌표강하 방법이 거의 확실히 수렴함을 보장할 수 있는가?
• RQ4 기존의 최첨단 접근 방식과 비교하여, 제안된 방법은 초대규모 문제에서 어떻게 성능을 발휘하는가?
• RQ5 제안된 하이브리드 업데이트 규칙 하에서, 반복값이 정적점으로 수렴하기 위한 이론적 조건은 무엇인가?

주요 결과

• 제안된 하이브리드 알고리즘은 초대규모 최적화 문제에서 순수하게 랜덤 또는 순수하게 결정적인 방법보다 더 빠른 수렴 속도를 달성한다.
• 비볼록 문제에 대해 표준적인 목표 함수 및 스텝사이즈 규칙 조건 하에서, 거의 확실히 정적점으로 수렴함이 보장된다.
• 랜덤 선택의 강건성과 국소적 진전을 기반으로 한 결정적 정밀화의 효율성을 조합함으로써 수렴 속도가 향상된다.
• 수치 실험 결과, 제안된 하이브리드 기법이 목표 함수 값의 감소량 및 총 실행 시간 측면에서 베이스라인 방법보다 뛰어난 성능을 보였다.
• 부정확한 하위문제 해를 사용할 경우에도 오차 항이 유계이므로 수렴 보장이 유지된다.
• 이론적 분석 결과, 반복값 수열이 일반화된 기울기 조건이 만족되는 점으로 수렴함을 보여주며, 이는 정적점임을 나타낸다.