[논문 리뷰] Performance of First- and Second-Order Methods for Big Data Optimization

Kimon Fountoulakis, Jacek Gondzio|arXiv (Cornell University)|2015. 03. 11.

Sparse and Compressive Sensing Techniques참고 문헌 28인용 수 5

한 줄 요약

이 논문은 최대 한 조각의 차원까지의 극단적인 문제 크기와 다양한 조건수를 가진 l1-정규화된 희소 최소제곱 문제에 대해 일阶 및 이阶 최적화 방법을 평가한다. 문제의 차원, 조건수, 희소성 등을 제어할 수 있는 저메모리, 확장 가능한 문제 생성기를 도입하여 통제된 조건 하에서 철저한 성능 비교를 가능하게 한다.

ABSTRACT

We study the performance of first- and second-order optimization methods for l1-regularized sparse least-squares problems as the conditioning of the problem changes and the dimensions of the problem increase up to one trillion. A rigorously defined generator is presented which allows control of the dimensions, the conditioning and the sparsity of the problem. The generator has very low memory requirements and scales well with the dimensions of the problem.

연구 동기 및 목표

• 대규모 희소 학습에서 문제의 조건수와 차원이 일阶 및 이阶 최적화 방법의 성능에 미치는 영향를 조사하기 위해.
• 최소한의 메모리 오버헤드로 차원, 조건수, 희소성을 체계적으로 제어할 수 있는 문제 생성기를 개발하기 위해.
• 문제 크기가 한 조각의 변수에 이르기까지 증가함에 따라 일阶 및 이阶 방법의 확장성과 수렴 행동을 평가하기 위해.
• 불량한 조건수와 고차원 희소 문제에서 최적화 방법을 비교하기 위한 재현 가능한 벤치마크 프레임워크를 제공하기 위해.

제안 방법

• l1-정규화된 최소제곱 문제의 조건수, 차원, 희소성을 체계적으로 제어할 수 있는 문제 생성기를 설계하였다.
• 조절 가능한 특이값을 가진 구조적 랜덤 행렬을 사용하여 조건수를 조절하면서도 희소성을 유지한다.
• 문제 크기와 비례하지 않게 증가하는 메모리 사용량을 통해 최대 한 조각의 차원까지 문제 크기를 지원한다.
• 다양한 조건에서 생성된 문제에 대해 일阶 방법(예: FISTA)과 이阶 방법(예: 뉴턴 유사 방법)을 적용한다.
• 다양한 조건수 수준에서 수렴 속도, 반복 횟수, 계산 비용을 측정하여 성능을 평가한다.
• 재현 가능하고 대규모 시스템에서 확장 가능한 방식으로 생성기를 효율적으로 구현하였다.

실험 결과

연구 질문

• RQ1 문제의 차원이 한 조각에 이르기까지 증가할수록 일阶 및 이阶 방법의 수렴 속도에 어떤 영향을 미치는가?
• RQ2 문제의 조건수(조건수)가 일阶 및 이阶 방법 간 성능 격차에 어떤 영향을 미치는가?
• RQ3 해의 희소성이 일阶 및 이阶 솔버의 효율성에 어느 정도의 영향을 미치는가?
• RQ4 저메모리, 확장 가능한 생성기가 최적화 알고리즘 벤치마킹을 위한 조건이 잘 제어된 문제를 신뢰성 있게 생성할 수 있는가?
• RQ5 고차원 환경에서 일阶 및 이阶 방법의 반복당 계산 비용과 반복 횟수 사이의 상호 교환 관계는 어떠한가?

주요 결과

• 이阶 방법은 불량한 조건수 문제에서 뛰어난 수렴 속도를 보이며, 일阶 방법 대비 반복 횟수를 최대 90%까지 줄였다.
• 좋은 조건수 문제에서는 반복당 비용이 낮아 일阶 방법이 벽시계 시간 측면에서 경쟁력이 유지된다.
• 제안된 생성기는 문제 크기와 비례하지 않게 증가하는 메모리 사용량으로 차원, 조건수, 희소성을 완전히 제어할 수 있다.
• 차원이 한 조각에 이르기까지 증가함에 따라 이阶 방법은 안정적인 수렴을 유지하지만, 일阶 방법은 높은 조건수에서 반복 횟수에 심각한 열화가 발생하였다.
• 생성기의 확장성 덕분에 문제 크기 간 일관된 벤치마킹이 가능해졌으며, 방법에 따라 특화된 성능 경향이 드러났다.
• 조건수 증가에 따라 두 방법 간 성능 격차가 커지며, 불량한 조건수 영역에서는 이阶 방법이 유리하다.