[논문 리뷰] Asynchronous Parallel Algorithms for Nonconvex Big-Data Optimization: Model and Convergence.

Loris Cannelli, Francisco Facchinei외 2명|arXiv (Cornell University)|2016. 07. 17.

Sparse and Compressive Sensing Techniques참고 문헌 38인용 수 24

한 줄 요약

이 논문은 비볼록 대용량 최적화 문제를 위한 새로운 이방식 비동기 병렬 알고리즘을 제안하며, 순차적 볼록 근사와 더 정교한 비동기 모델을 조합한다. 이 알고리즘은 거의 확실한 수렴을 보장하며, 볼록 및 비볼록 문제에서 기존 방법보다 뛰어난 성능을 보인다.

ABSTRACT

We propose a novel asynchronous parallel algorithmic framework for the minimization of the sum of a smooth nonconvex function and a convex nonsmooth regularizer, subject to both convex and nonconvex constraints. The proposed framework hinges on successive convex approximation techniques and a novel probabilistic model that captures key elements of modern computational architectures and asynchronous implementations in a more faithful way than current state of the art models. Key features of the proposed framework are: i) it accommodates inconsistent read, meaning that components of the vector variables may be written by some cores while being simultaneously read by others; ii) it covers in a unified way several different specific solution methods, and iii) it accommodates a variety of possible parallel computing architectures. Almost sure convergence to stationary solutions is proved. Numerical results, reported in the companion paper, on both convex and nonconvex problems show our method can consistently outperform existing parallel asynchronous algorithms.

연구 동기 및 목표

• 볼록 및 비볼록 제약 조건 하에서 부드럽지 않은 정규화를 갖는 대규모 비볼록 문제 최적화의 과제를 해결한다.
• 다양한 병렬 컴퓨팅 아키텍처와 비동기 패턴을 지원하는 통합 알고리즘 프레임워크를 개발한다.
• 기존 모델의 한계를 극복하기 위해 비동기의 더 정확한 확률적 표현, 특히 일관되지 않은 읽기까지 포함하여 도입한다.
• 현실적인 비동기 실행 조건 하에서 정류점으로의 이론적 수렴을 보장한다.
• 이론적 수렴 보장을 유지하면서도 현대 컴퓨팅 시스템에 실용적으로 구현 가능하도록 한다.

제안 방법

• 비볼록 목적 함수의 구성 요소를 다루기 위해 순차적 볼록 근사를 활용하여 반복적으로 볼록 하위문제를 해결한다.
• 비동기 계산의 역학을 기록하는 새로운 확률적 모델을 도입하며, 처리 코어 간 일관되지 않은 읽기까지 포함한다.
• 멀티코어 CPU 및 분산 시스템과 같은 다양한 병렬 아키텍처와의 호환성을 설계한다.
• 다른 코어에서 동시에 변수 벡터의 성분을 읽고 쓰는 것을 허용하여 이전 모델보다 실제 비동기 상태를 더 정확히 모델링한다.
• 단일 이론적 기반 하에 여러 구체적 해법 기법을 통합한다.
• 제안된 비동기 확률 모델 하에서 거의 확실한 정류점으로의 수렴을 증명한다.

실험 결과

연구 질문

• RQ1 비볼록 대용량 최적화 문제에서 볼록 및 비볼록 제약 조건을 모두 지원하는 통합 이방식 병렬 프레임워크를 개발할 수 있는가?
• RQ2 일관되지 않은 읽기를 포함한 더 현실적인 비동기 확률 모델을 최적화 알고리즘에 통합하여 실용성을 향상시킬 수 있는가?
• RQ3 실제 비동기 실행 패턴 하에서도 제안된 프레임워크가 수렴 보장을 유지하는 정도는 어느 정도인가?
• RQ4 이론적 또는 실험적 성능을 저하시키지 않고 다양한 병렬 컴퓨팅 아키텍처에 적용할 수 있는가?
• RQ5 제안된 방법은 볼록 및 비볼록 문제에서 기존 이방식 알고리즘보다 수렴 속도와 해의 품질 측면에서 뛰어나다고 할 수 있는가?

주요 결과

• 제안된 알고리즘은 새로운 비동기 확률 모델 하에서 거의 확실한 정류점으로의 수렴을 보장한다.
• 이 프레임워크는 변수 벡터의 성분이 다른 코어에 의해 쓰이고 있을 때 읽히는 일관되지 않은 읽기를 지원한다.
• 이 방법은 단일 알고리즘 및 이론적 프레임워크 하에 몇 가지 기존 해법 기법을 통합한다.
• 알고리즘은 넓은 범위의 병렬 컴퓨팅 아키텍처와 호환되어 실용적 적용성을 높인다.
• 동반 논문의 수치 결과는 볼록 및 비볼록 문제에서 기존의 병렬 이방식 알고리즘보다 일관된 성능 향상을 보여준다.
• 일관되지 않은 읽기를 포함한 현실적인 비동기 모델링에도 불구하고 이론적 수렴 보장이 유지된다.