[논문 리뷰] Flexible Parallel Algorithms for Big Data Optimization

Francisco Facchinei, Simone Sagratella외 1명|arXiv (Cornell University)|2013. 11. 11.

Sparse and Compressive Sensing Techniques참고 문헌 24인용 수 10

한 줄 요약

이 논문은 부드럽고 비볼록 함수와 블록 분리 가능한 비미분가능한 볼록 정규화항을 포함하는 대규모 데이터 문제를 위한 유연하고 병렬 최적화 프레임워크를 제안한다. 이는 Lasso와 희소 로지스틱 회귀와 같은 문제에 해당한다. 이 방법은 완전히 자코비에서 완전히 가우스-세이델에 이르기까지 임의의 수준의 병렬성을 지원하면서도, 약간의 조건 하에 전역 수렴성을 보장한다. 이는 하위문제의 해가 정확하지 않을 경우나 비볼록 목표 함수일 경우에도 성립한다.

ABSTRACT

We propose a decomposition framework for the parallel optimization of the sum of a differentiable function and a (block) separable nonsmooth, convex one. The latter term is typically used to enforce structure in the solution as, for example, in Lasso problems. Our framework is very flexible and includes both fully parallel Jacobi schemes and Gauss-Seidel (Southwell-type) ones, as well as virtually all possibilities in between (e.g., gradient- or Newton-type methods) with only a subset of variables updated at each iteration. Our theoretical convergence results improve on existing ones, and numerical results show that the new method compares favorably to existing algorithms.

연구 동기 및 목표

• 비미분가능한 정규화항을 가진 대규모 최적화 문제를 위한, 병렬성과 수렴성을 동시에 확보한 알고리즘의 부족을 보완한다.
• 완전히 병렬인 자코비 방법에서부터 순차적인 가우스-세이델 업데이트에 이르기까지 통합된 프레임워크를 제공한다.
• 비볼록 부드러운 성분과 정확하지 않은 하위문제 해를 포함하되, 여전히 수렴성을 유지한다.
• 블록 좌표 강하 방법의 기존 수렴 속도와 이론적 보장을 향상시킨다.
• Lasso, 그룹 Lasso, 희소 로지스틱 회귀, 행렬/텐서 분해와 같은 대규모 데이터 응용에 대해 확장 가능한 해법을 제공한다.

제안 방법

• 변수 공간을 블록으로 분할하고, 각 반복에서 일부 블록만 업데이트하는 분해 프레임워크를 제안한다.
• 기울기 유형, 뉴턴 유형, 가우스-세이델 스타일 업데이트를 하나의 프레임워크 내에서 통합하는 일반화된 업데이트 규칙을 사용한다.
• 오차 한계 $\varepsilon_i^k$ 를 통해 하위문제의 정확하지 않은 해를 도입함으로써 실용적인 구현을 가능하게 한다.
• 리아푸노프 유사 함수와 프록시멀 맵 $\widehat{\mathbf{x}}(\mathbf{x}^k)$ 의 변화에 대한 재귀적 경계를 통해 수렴성을 확립한다.
• Lipschitz 연속성의 $\nabla F$ 와 $G$ 의 국소 Lipschitz 연속성을 사용하여, $G$ 에 대한 전역 Lipschitz 조건이 필요 없도록 하는 수렴 조건을 유도한다. 오차가 사라질 경우에 특히 유리하다.
• 약간의 가정 하에 반복의 임계점이 원래 문제의 정류점임을 증명한다.

실험 결과

연구 질문

• RQ1 비미분가능한 정규화항을 가진 대규모 최적화 문제에서, 완전히 병렬인 자코비 방법과 순차적인 가우스-세이델 스킴을 통합할 수 있는 단일 알고리즘 프레임워크가 존재하는가?
• RQ2 부드러운 성분 $F$ 가 비볼록이고 하위문제가 정확하지 않게 풀릴 경우, 제안된 프레임워크가 여전히 전역 수렴성을 유지하는가?
• RQ3 다양한 병렬 수준과 정확하지 않은 해에 대해 이 방법의 이론적 수렴 속도는 어떠한가?
• RQ4 이 프레임워크는 Lasso, 그룹 Lasso, 희소 로지스틱 회귀와 같은 핵심 대규모 데이터 문제에 대해 수렴 보장을 갖춘 채로 적용 가능한가?
• RQ5 이 방법은 기존의 랜덤화 및 결정론적 블록 좌표 강하 방법에 비해 수렴 보장과 유연성 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 프레임워크는 비볼록 $F$ 와 비미분가능하고 블록 분리 가능한 $G$ 에 대해 정확하지 않은 하위문제 해가 존재하더라도 전역 수렴성을 달성한다.
• 기존 연구에 비해 더 약한 가정 하에 수렴성을 확립하며, 특히 오차가 사라질 경우 $G$ 에 대한 전역 Lipschitz 조건이 필요 없음을 보여준다.
• 이 방법은 완전히 병렬(자코비) 및 순차적(가우스-세이델) 스킴을 특수한 경우로 포함하며, 모든 변형이 동일한 조건 하에 수렴한다.
• 수치 결과는 이 방법이 기존 알고리즘에 비해 대규모 문제에서 수렴 속도와 확장성 측면에서 유리한 성능을 보임을 보여준다.
• 이 프레임워크는 동일한 알고리즘 아키텍처 내에서 기울기 및 뉴턴 유형 업데이트를 지원하여 문제 특성에 맞게 적응 가능하다.
• 수열 $\{V(\mathbf{x}^k)\}$ 가 수렴하는 데 반해 $\sum \gamma^t$ 가 0이 되지 않는다는 가정에서 모순을 도출함으로써, 단계 길이가 결국 감소하여 정류점으로 수렴함을 증명한다.