[논문 리뷰] RankMap: A Platform-Aware Framework for Distributed Learning from Dense Datasets

Azalia Mirhoseini, Eva L. Dyer외 3명|arXiv (Cornell University)|2015. 03. 27.

Sparse and Compressive Sensing Techniques참고 문헌 46인용 수 10

한 줄 요약

RankMap는 밀도 높은 데이터셋에서 반복적 기계학습을 저비용으로 가속화하기 위해 희소 행렬 분해를 통해 저랭크 구조를 활용하는 플랫폼 인식 분산 프레임워크이다. 밀도 높은 데이터를 저랭크 희소 성분으로 분해함으로써 메모리, 통신, 계산 비용을 감소시켜 기존 연구 대비 성능을 최대 두 계단 정도 향상시키며 학습 정확도를 유지한다.

ABSTRACT

This paper introduces RankMap, a platform-aware end-to-end framework for efficient execution of a broad class of iterative learning algorithms for massive and dense datasets. Our framework exploits data structure to factorize it into an ensemble of lower rank subspaces. The factorization creates sparse low-dimensional representations of the data, a property which is leveraged to devise effective mapping and scheduling of iterative learning algorithms on the distributed computing machines. We provide two APIs, one matrix-based and one graph-based, which facilitate automated adoption of the framework for performing several contemporary learning applications. To demonstrate the utility of RankMap, we solve sparse recovery and power iteration problems on various real-world datasets with up to 1.8 billion non-zeros. Our evaluations are performed on Amazon EC2 and IBM iDataPlex servers using up to 244 cores. The results demonstrate up to two orders of magnitude improvements in memory usage, execution speed, and bandwidth compared with the best reported prior work, while achieving the same level of learning accuracy.

연구 동기 및 목표

• 고전적 그래프 평행 프레임워크가 높은 통신 및 저장 비용을 유발하는 밀도 높고 구조화된 데이터셋을 효율적으로 처리하지 못하는 문제를 해결하기 위해.
• 데이터 인식적 분해와 플랫폼 인식 스케줄링을 통해 대규모 밀도 높은 데이터셋에서 반복 학습 알고리즘을 확장 가능하고 효율적으로 실행하기 위해.
• 밀도 높은 데이터를 희소 저랭크 표현으로 변환하여 분산 시스템 내 계산 및 통신 비용을 감소시키기 위해.
• 기존 기계학습 파ipelines와 원활하게 통합할 수 있도록 행렬 기반 및 정점 중심 API를 제공하는 오픈소스 확장 가능한 인터페이스를 제공하기 위해.
• 실세계 데이터셋과 이종 하드웨어 환경에서 메모리, 대역폭, 실행 속도 측면에서 뚜렷한 성능 향상을 입증하기 위해.

제안 방법

• RankMap는 샘플링 기반 저랭크 근사법을 사용하여 밀도 높은 구조화된 데이터셋을 두 개의 희소 행렬로 분해하여 비제로 요소 수를 극도로 감소시킨다.
• 근사 정확도를 애플리케이션 요구사항에 맞게 조정할 수 있는 확장 가능하고 오차가 제한된 분해 방법을 적용한다.
• 분해된 행렬에 대해 플랫폼 인식 파artition 전략을 사용하여 분산 환경에서의 통신과 로드 불균형을 최소화한다.
• 두 가지 계산 모델을 제공한다: MPI 기반의 행렬 기반 모델과 GraphLab 기반의 정점 중심 모델로, 각각 다른 희소성 수준에 최적화되어 있다.
• 시스템은 FISTA와 같은 반복적 해법기와 통합되며, 분해된 데이터 기반으로 SGD 및 SCD와 같은 확률적 방법으로의 확장도 지원한다.
• 성능 한계와 통신 비용 분석을 도출하여 근사적으로 최적의 확장성과 컴퓨팅 노드 수에 대한 의존도 감소를 입증한다.

실험 결과

연구 질문

• RQ1 밀도 높은 데이터셋 내 저랭크 구조를 활용해 분산 반복 학습에서 통신 및 메모리 비용을 줄일 수 있는가?
• RQ2 희소 행렬 분해를 효율적으로 계산하고 분할하여 로드 불균형을 방지하고 데이터 이동을 최소화할 수 있는가?
• RQ3 분산 환경에서 행렬 기반 모델과 정점 중심 모델 간의 성능 상충 관계는 어떠한가?
• RQ4 플랫폼 인식 스케줄링과 데이터 인식 변환을 통해 실행 시간, 메모리 사용량, 에너지 효율성이 얼마나 향상될 수 있는가?
• RQ5 다양한 반복 학습 알고리즘을 대규모 밀도 높은 데이터에서 지원할 수 있는 통합된 오픈소스 프레임워크를 구축할 수 있는가?

주요 결과

• 18억 개의 비제로 요소를 포함한 데이터셋에서 기존 연구 대비 메모리 사용량, 실행 시간, 통신 대역폭을 최대 두 계단 정도 감소시켰다.
• 4개의 IBM iDataPlex 노드에서 18억 비제로 요소 데이터셋의 분해를 15분 이내에 완료했으며, 이로 인해 라이트 필드 패치를 20초 이내로 재구성할 수 있었다.
• 행렬 기반 API는 일반적으로 더 낮은 오버헤드 덕분에 정점 중심 모델보다 뛰어난 성능을 보였지만, 블록 대각 행렬을 가진 고노드 수 환경에서는 그래프 기반 모델이 더 우수한 확장성을 보였다.
• 18,000 길이의 10개의 라이트 필드 패치에 대해 재구성 시간이 1,000초 이상에서 20초 이내로 감소하여 오프라인 분해 비용이 정당화됨을 입증했다.
• Amazon EC2와 IBM iDataPlex 클러스터에서 최대 244개의 코어를 사용하여 기준 방법과 동일한 학습 정확도를 유지하면서 계산 및 통신 비용을 크게 감소시켰다.
• 행렬 기반 및 정점 중심 모델 모두에 대한 오픈소스 API가 제공되며, FISTA, SGD, SCD와 같은 표준 최적화 방법과의 통합을 지원한다.