[논문 리뷰] Asynchronous Parallel Algorithms for Nonconvex Big-Data Optimization. Part II: Complexity and Numerical Results

Loris Cannelli, Francisco Facchinei외 2명|arXiv (Cornell University)|2017. 01. 17.

Sparse and Compressive Sensing Techniques참고 문헌 22인용 수 12

한 줄 요약

이 논문은 비볼록 대용량 최적화를 위한 새로운 이방향 병렬 알고리즘인 AsyFLEXA를 제안한다. 이 알고리즘은 연속적인 볼록 근사와 정교한 비확률적 모델 기반의 이방향성 특성을 융합한다. 고정 단계 크기 하에서 ε-정류성에 도달하기 위한 복잡도 한계를 O(1/ε)로 설정하였으며, 이는 선형 속도 향상과 최신 기법들보다 뛰어난 성능을 보이며, 볼록 및 비볼록 문제 모두에서 성능을 발휘한다. 특히 LASSO 및 비볼록 희소 복원 작업에서 성능이 뛰어나다.

ABSTRACT

We present complexity and numerical results for a new asynchronous parallel algorithmic method for the minimization of the sum of a smooth nonconvex function and a convex nonsmooth regularizer, subject to both convex and nonconvex constraints. The proposed method hinges on successive convex approximation techniques and a novel probabilistic model that captures key elements of modern computational architectures and asynchronous implementations in a more faithful way than state-of-the-art models. In the companion paper we provided a detailed description on the probabilistic model and gave convergence results for a diminishing stepsize version of our method. Here, we provide theoretical complexity results for a fixed stepsize version of the method and report extensive numerical comparisons on both convex and nonconvex problems demonstrating the efficiency of our approach.

연구 동기 및 목표

• 기존의 이방향 알고리즘들이 비볼록 최적화에서 수렴 보장 및 현실적인 이방향성 모델링 측면에서 가지는 한계를 해결한다.
• 이전 모델들보다 현대 컴퓨팅 아키텍처를 더 정확하게 반영하는 새로운 비확률적 이방향성 모델을 개발한다.
• 알고리즘의 고정 단계 크기 버전에 대해 이론적 복잡도 한계를 설정하여, O(1/ε) 반복 이내에 정류성으로 수렴함을 보장한다.
• 볼록 및 비볼록 문제에서의 광범위한 수치적 비교를 통해 알고리즘의 실용적 효율성과 강건성을 입증한다.
• 비볼록 정규화 항(예: l₀ 노름의 로그 및 지수 근사)이 l₁ 정규화보다 복원 정확도와 희소성 측면에서 더 우수한 희소 복원 성능을 보임을 보여준다.

제안 방법

• 부드럽고 비볼록, 그리고 볼록이 아닌 비미분 성분을 가진 비볼록 최적화 문제를 해결하기 위해 연속적인 볼록 근사(Successive Convex Approximation, SCA) 기반의 고정 단계 크기 이방향 알고리즘을 제안한다.
• 이전 연구에서 사용된 표준 모델보다 더 나은 성능을 보이는 현대 병렬 아키텍처의 핵심 특징을 반영하는 새로운 비확률적 이방향성 모델을 도입한다.
• 수렴을 모니터링하기 위해 메리트 함수를 사용하고, 현재 반복값과 그 프록시 갱신값 간의 거리 기반으로 정류성 척도를 정의한다.
• 상자 제약 조건 등의 볼록 제약 조건과 비볼록 이차 제약 조건 등의 비볼록 국소 제약 조건을 모두 가진 문제에 알고리즘을 적용한다.
• 각 코어가 오래된 정보를 사용하여 변수의 부분집합을 이방향으로 갱신하는 병렬적 블록 반복 방식으로 알고리즘을 구현한다.
• 희소 복원을 위해 비볼록 l₀ 노름을 로그 및 지수 함수를 사용한 서로서프로 근사하여, l₁ 정규화보다 더 뛰어난 희소성과 정확도를 달성한다.

실험 결과

연구 질문

• RQ1 더 현실적인 이방향성 모델 하에서 고정 단계 크기 이방향 알고리즘이 비볼록 최적화 문제에 대해 O(1/ε) 반복 복잡도를 달성할 수 있는가?
• RQ2 제안된 알고리즘이 볼록 및 비볼록 환경 모두에서 코어 수 증가에 따라 선형 속도 향상을 보일 수 있는가?
• RQ3 비볼록 제약 조건이 있는 비볼록 문제에서 AsyFLEXA의 성능이 최신 이방향 기법들(A-S-SPCD, ARock 등)보다 뛰어나게 나타나는가?
• RQ4 비볼록 정규화 항(로그, 지수)이 희소 복원 문제에서 l₁ 정규화보다 희소성과 복원 정확도 측면에서 더 나은 성능을 보일 수 있는가?
• RQ5 서로서프 함수 선택(로그 대비 지수 대비 l₁)이 정규화된 평균 제곱 오차(NMSE)와 해의 희소성에 어떤 영향을 미치는가?

주요 결과

• 알고리즘은 O(1/ε) 반복 이내에 기대 정류성 척도가 ε 이하로 떨어지며, 고정 단계 크기 이방향 비볼록 최적화 문제에 대한 이론적 복잡도 한계를 확인한다.
• 수치 결과는 AsyFLEXA가 비볼록 LASSO 문제에서 A-S-SPCD 및 ARock보다 수렴 속도와 해 품질 측면에서 뛰어나며, 특히 더 뛰어난 희소성과 낮은 NMSE를 달성함을 보여준다.
• 비볼록 희소 복원 문제에서는 l₀ 노름의 로그 및 지수 근사가 진짜 희소성(5% 비영원소)과 일치하는 정규화 파rameter λ에서 NMSE가 약 0.02로 가장 낮으며, l₁ 정규화는 비영원소 수가 15% 증가하고 NMSE가 2배 이상 악화되는 λ 값을 요구한다.
• 코어 수 증가에 따라 CPU 시간 당 반복 수가 감소하고 2개 및 20개 코어에서 수렴 속도가 빨라짐으로써 선형 속도 향상이 확인된다.
• 다양한 실행에서 AsyFLEXA가 동일한 정류해에 수렴함을 통해, 비볼록 환경에서 공식적인 수렴 증명 없이도 강건성과 신뢰성을 확보함을 시사한다.
• 리프시츠 상수에 의존하지 않는 모델 근사의 유연성 덕분에, 특히 비볼록 영역에서 엄격한 미분 가능성 가정에 의존하는 기법들보다 더 뛰어난 성능을 발휘한다.