[논문 리뷰] Convex Optimization for Big Data

Volkan Cevher, Stephen Becker외 1명|arXiv (Cornell University)|2014. 11. 04.

Sparse and Compressive Sensing Techniques참고 문헌 19인용 수 105

한 줄 요약

이 논문은 1차 방법, 랜덤화, 병렬/분산 계산을 활용하여 대규모 데이터에서 확장 가능한 볼록 최적화를 위한 프레임워크를 제안한다. 랜덤화된 1차 방법이 작은 데이터 부분집합에서의 근사적이고 저정도의 계산을 사용함으로써 수렴성과 해의 품질을 유지하면서도 많은 프로세서를 사용할 경우 거의 선형 수준의 성능 향상을 달성함을 보여준다.

ABSTRACT

This article reviews recent advances in convex optimization algorithms for Big Data, which aim to reduce the computational, storage, and communications bottlenecks. We provide an overview of this emerging field, describe contemporary approximation techniques like first-order methods and randomization for scalability, and survey the important role of parallel and distributed computation. The new Big Data algorithms are based on surprisingly simple principles and attain staggering accelerations even on classical problems.

연구 동기 및 목표

• 대규모 데이터 최적화에서의 계산, 저장, 통신 병목 현상을 해결한다.
• 기존의 내부점 방법과 같은 기법으로는 처리가 어려운 막대한 크기의 데이터셋을 다룰 수 있는 확장 가능한 알고리즘을 개발한다.
• 계산 오버헤드를 줄이는 근사 기법을 통해 대규모 볼록 문제를 효율적으로 해결할 수 있도록 한다.
• 랜덤화, 1차 방법, 분산 아키텍처 간의 상호보완적 상호작용을 탐색하여 확장성 향상을 도모한다.
• 분산, 비동기, 분산형 환경에서의 수렴성과 성능에 대한 이론적 보장을 제공한다.

제안 방법

• 복합 볼록 최적화 형식을 사용: f(x) + g(x) 최소화, 여기서 f는 미분 가능하고 g는 볼록이지만 가능하면 비미분 가능하다.
• 단지 기울기와 프록시 맵핑에 의존하는 1차 방법을 활용하여 저정도이지만 고속의 해를 도출한다.
• 정확한 기울기 및 프록시 계산을 통계적 추정치로 대체하기 위해 랜덤화를 도입하여 반복 계산 비용을 감소시킨다.
• 많은 프로세서에 걸쳐 확장 가능한 비동기적, 분산형 구현을 통해 병렬 및 분산 계산을 적용한다.
• 좌표 강하와 기울기 방법을 활용하여 부분 갱신과 최소한의 통신으로 실행 가능하게 하여 쉽게 병렬화할 수 있는 실행 환경을 제공한다.
• 지역 평균화와 그래프 라플라시안 기반 수렴 분석을 사용하여 분산 네트워크에서의 통신을 모델링한다.

실험 결과

연구 질문

• RQ1 1차 방법은 어떻게 막대한 차원을 가진 대규모 데이터 문제에 효율적으로 확장될 수 있는가?
• RQ2 부분적 또는 근사적인 데이터만 사용할 경우, 랜덤화된 1차 방법의 수렴 성질은 어떠한가?
• RQ3 1차 방법의 병렬 및 분산 구현은 프로세서 수가 증가함에 따라 얼마나 근사적으로 선형 성능 향상을 달성할 수 있는가?
• RQ4 비동기 및 분산형 통신 모델은 대규모 최적화에서 수렴 속도와 해의 품질에 어떤 영향을 미치는가?
• RQ5 ℓ1-노름과 같은 비미분 가능 정규화를 갖는 복합 모델은 전통적인 최소제곱법에 비해 추정 정확도와 확장성 측면에서 뛰어나게 성능을 발휘할 수 있는가?

주요 결과

• 랜덤화된 1차 방법은 데이터의 거의 무시할 만큼 작은 부분집합만 검토함으로써 양호한 품질의 해를 도출하여 빠른 가속을 가능하게 한다.
• 스토하스틱 기울기 및 좌표 강하 방법의 비동기적, 잠금 없음 구현은 수렴성을 유지하면서 다중 코어 시스템에서 상당한 성능 향상을 제공한다.
• 랜덤화된 프록시 기울기 방법은 근사적인 오ракル 정보와 통신 지연이 존재하더라도 이론적 수렴성을 유지한다.
• 병렬 좌표 강하 방법은 목적이 분해 가능할 경우 많은 프로세서를 사용할 때 거의 선형 수준의 성능 향상을 달성할 수 있다.
• 지역 평균화를 사용하는 분산형 기울기 방법은 중심 집중형 방법과 비교해 유사한 수렴 속도를 달성하며, 네트워크의 그래프 라플라시안에 따라 성능 저하가 발생한다.
• 랜덤화, 1차 방법, 분산 계산의 조합은 기존의 내부점 방법으로는 처리가 불가능한 대규모 데이터 문제에 대해 확장 가능한 해결책을 제공한다.