[논문 리뷰] TMAC: A Toolbox of Modern Async-Parallel, Coordinate, Splitting, and Stochastic Methods

Brent Edmunds, Zhimin Peng외 1명|arXiv (Cornell University)|2016. 06. 14.

Stochastic Gradient Optimization Techniques참고 문헌 56인용 수 5

한 줄 요약

TMAC는 대규모 최적화를 위한 오픈소스 C++11 도구상자로, 현대적인 비동기 병렬, 좌표, 분할, 확률적 알고리즘을 구현한다. 문제를 단순한 부분문제로 분해하고 동기 및 비동기 병렬 처리를 지원함으로써 다중 코어 시스템에서 효율적이고 확장 가능한 최적화를 가능하게 하며, 비음수 행렬 분해에서 16 스레드 기준 최대 14.5배의 성능 향상을 입증했다.

ABSTRACT

TMAC is a toolbox written in C++11 that implements algorithms based on a set of modern methods for large-scale optimization. It covers a variety of optimization problems, which can be both smooth and nonsmooth, convex and nonconvex, as well as constrained and unconstrained. The algorithms implemented in TMAC, such as the coordinate up- date method and operator splitting method, are scalable as they decompose a problem into simple subproblems. These algorithms can run in a multi-threaded fashion, either synchronously or asynchronously, to take advantages of all the cores available. TMAC architecture mimics how a scientist writes down an optimization algorithm. Therefore, it is easy for one to obtain a new algorithm by making simple modifications such as adding a new operator and adding a new splitting, while maintaining the multicore parallelism and other features. The package is available at https://github.com/uclaopt/TMAC.

연구 동기 및 목표

• 현대적인 대규모 최적화 알고리즘을 구현하기 위한 유연하고 확장 가능하며 효율적인 도구상자를 제공하기 위해.
• 비동기 및 병렬 실행을 통해 다중 코어 아키텍처에서 고성능이고 확장 가능한 최적화를 가능하게 하기 위해.
• 볼록 및 비볼록, 미분 가능 및 비미분 가능, 제약 및 비제약 최적화 문제를 모두 지원하기 위해.
• 최적화 방법의 과학적 표기법을 모방함으로써 새로운 알고리즘의 빠른 프로토타이핑을 촉진하기 위해.
• 향후 컴퓨팅 패러다임, 예를 들어 클러스터 컴퓨팅과 확률적 알고리즘을 포함한 확장성을 고려한 모듈러한 프레임워크로의 확장 가능성을 제공하기 위해.

제안 방법

• TMAC는 실행 파일, 드라이버, 스킴, 연산자, 선형 대수 계층으로 구성된 계층적 아키텍처를 사용하여 알고리즘 구성 요소를 분리하고 모듈러 개발을 가능하게 한다.
• 복잡한 문제를 단순한 부분문제로 분해하기 위해 ADMM, Douglas-Rachford, 원시-이중 분할과 같은 연산자 분할 방법을 구현한다.
• 다양한 선택 규칙(랜덤, 순환, 그리디)을 지원하는 좌표 갱신 방법을 비롯해 동기 또는 비동기로 병렬 실행이 가능하다.
• Linux, Mac, Windows 간에서 이식 가능하고 효율적인 다중 스레딩을 위해 C++11 스레드 라이브러리를 활용한다.
• 수치적 선형 대수 연산은 BLAS 또는 ScaLAPACK를 통해 가속화되며, 이 연산들에 대한 병렬화도 가능하다.
• 기존 계층을 확장함으로써 새로운 알고리즘을 구현할 수 있다 — 예를 들어 새로운 연산자나 분할 스킴을 추가함으로써 핵심 로직을 재작성하지 않아도 된다.

실험 결과

연구 질문

• RQ1 일반 목적의 최적화 도구상자는 어떻게 순차적 실행과 고도로 병렬화된 비동기 실행을 모두 지원할 수 있는가?
• RQ2 좌표 갱신 및 연산자 분할과 같은 현대 최적화 방법을 효율적이고 확장 가능한 방식으로 구현하기 위해 어떤 아키텍처 원칙이 필요한가?
• RQ3 다중 코어 시스템에서 고성능을 달성하면서도 가독성과 모듈성을 유지할 수 있는 도구상자는 어떤 방식으로 설계되어야 하는가?
• RQ4 비볼록 및 대규모 문제에서 비동기 병렬 처리를 통해 얻을 수 있는 성능 향상은 어느 정도인가?
• RQ5 확률적 알고리즘, 클러스터 컴퓨팅, GUI 인터페이스와 같은 향후 확장 기능은 어떻게 모듈러하고 확장 가능한 프레임워크에 통합될 수 있는가?

주요 결과

• 비음수 행렬 분해에서 16 스레드 기준 TMAC는 14.51배의 성능 향상을 기록하여 뛰어난 확장성을 입증했다.
• 포트폴리오 최적화에서는 16 스레드 기준 15.12배의 성능 향상을 기록하여 높은 병렬 효율성을 확인했다.
• k=100일 때 비음수 행렬 분해에서 16 스레드 기준 14.47배의 성능 향상을 기록하여 문제 크기 변화에 관계없이 뛰어난 성능를 유지함을 보였다.
• 코드베이스는 모듈러하고 확장 가능하다: 새로운 알고리즘은 새로운 연산자나 분할 스킴를 추가함으로써 한 계층만 수정함으로써 구현할 수 있다.
• TMAC는 볼록 및 비볼록 문제를 모두 지원하며, 실세계 문제 사례에서 검증된 성능을 보이는 경험적 리스크 최소화, SVM, NMF 등 다양한 문제에 적용 가능하다.
• 향후 확장 기능으로는 확률적 방법, MPI 기반 클러스터 컴퓨팅, GUI 인터페이스 등이 계획되어 있으며 현재 활발히 개발 중이다.