[논문 리뷰] Parallel Large-Scale Attribute Reduction on Cloud Systems

Junbo Zhang, Tianrui Li외 1명|arXiv (Cornell University)|2016. 10. 06.

Rough Sets and Fuzzy Logic참고 문헌 27인용 수 8

한 줄 요약

이 논문은 Spark를 사용하여 클라우드 시스템에서 대규모 속성 감소를 위한 통합 프레임워크인 PLAR를 제안한다. 이는 균량 계산 기반 초기화, 모델 병렬성, 데이터 병렬성을 결합한 것으로, 모든 특성 후보를 동시에 효율적으로 평가하고 균량 표현을 통해 메모리 오버헤드를 줄여, SDSS 및 Gisette와 같은 대규모 데이터셋에서 기존 Hadoop 기반 솔루션을 능가하는 바, 순차 처리 대비 최대 17.8배의 성능 향상을 달성한다.

ABSTRACT

The rapid growth of emerging information technologies and application patterns in modern society, e.g., Internet, Internet of Things, Cloud Computing and Tri-network Convergence, has caused the advent of the era of big data. Big data contains huge values, however, mining knowledge from big data is a tremendously challenging task because of data uncertainty and inconsistency. Attribute reduction (also known as feature selection) can not only be used as an effective preprocessing step, but also exploits the data redundancy to reduce the uncertainty. However, existing solutions are designed 1) either for a single machine that means the entire data must fit in the main memory and the parallelism is limited; 2) or for the Hadoop platform which means that the data have to be loaded into the distributed memory frequently and therefore become inefficient. In this paper, we overcome these shortcomings for maximum efficiency possible, and propose a unified framework for Parallel Large-scale Attribute Reduction, termed PLAR, for big data analysis. PLAR consists of three components: 1) Granular Computing (GrC)-based initialization: it converts a decision table (i.e., original data representation) into a granularity representation which reduces the amount of space and hence can be easily cached in the distributed memory: 2) model-parallelism: it simultaneously evaluates all feature candidates and makes attribute reduction highly parallelizable; 3) data-parallelism: it computes the significance of an attribute in parallel using a MapReduce-style manner. We implement PLAR with four representative heuristic feature selection algorithms on Spark, and evaluate them on various huge datasets, including UCI and astronomical datasets, finding our method's advantages beyond existing solutions.

연구 동기 및 목표

• 빅 데이터를 위한 단일 머신 및 Hadoop 기반 속성 감소 방법의 확장성 한계를 해결하기 위해.
• 기존 MapReduce 기반 시스템에서의 I/O 및 메모리 병목 현상을 극복하여 클라우드 플랫폼에서 효율적이고 고도로 병렬화된 속성 감소를 가능하게 하기 위해.
• 다양한 히وري스틱 특성 선택 알고리즘을 지원하면서도 높은 성능과 낮은 메모리 사용량을 확보하는 통합 프레임워크를 설계하기 위해.
• 실제 대규모 데이터셋을 대상으로 제안된 PLAR 프레임워크의 효과성과 확장성을 평가하기 위해.

제안 방법

• 균량 계산 기반 초기화는 원본 결정 표를 균량 표현으로 변환하여 공간 복잡도를 O(|U||A|)에서 O(|U/A||A|)로 감소시키며, 분산 메모리에 효율적으로 캐시할 수 있도록 한다.
• 모델 병렬성은 다수의 코어를 통해 모든 특성 후보를 동시에 평가할 수 있도록 하여 고차원 데이터에 대한 병렬성 효율을 크게 향상시킨다.
• 데이터 병렬성은 MapReduce 방식의 분해를 사용하여 각 속성의 중요도를 병렬로 계산하며, 클러스터 전반에 걸쳐 계산을 분산시킨다.
• 프레임워크는 Apache Spark 기반으로 구현되어 있으며, 메모리 기반 계산과 저지연 태스크 스케줄링을 활용하여 Hadoop 대비 성능을 향상시킨다.
• 일반화성과 성능 평가를 위해 네 가지 대표적인 히وري스틱 알고리즘—PR, SCE, LCE, CCE—가 PLAR에 통합되었다.
• 프레임워크는 평가 함수를 병렬화하기 위한 분해 방법을 사용하여 대규모 환경에서 효율적인 중요도 계산을 가능하게 한다.

실험 결과

연구 질문

• RQ1 통합 프레임워크가 클라우드 플랫폼에서 대규모 속성 감소에 대해 높은 확장성과 효율성을 달성할 수 있는가?
• RQ2 수천 개의 특성을 동시에 평가할 때 모델 병렬성이 성능에 어떤 영향을 미치는가?
• RQ3 균량 계산 기반 초기화가 속성 감소 과정에서 메모리 사용량을 얼마나 줄이고 계산을 얼마나 가속화하는가?
• RQ4 대규모 데이터셋에서 기존 Hadoop 기반 솔루션과 비교해 PLAR의 실행 시간과 스피드업 성능는 어떠한가?
• RQ5 대규모 특성 선택에서 성능을 최대화하기 위해 최적의 모델 병렬성 수준는 무엇인가?

주요 결과

• Gisette 데이터셋에서 모델 병렬성 수준 32를 사용할 경우, PLAR-DP(단순 데이터 병렬) 기반 베이스라인 대비 최대 17.8배의 성능 향상을 달성한다.
• SDSS 데이터셋에서 128개 코어를 사용할 경우, SCE 측정 기준으로 32개 코어 대비 3.31배의 성능 향상을 보이며 강력한 확장성을 입증한다.
• 균량 계산 기반 초기화는 모든 데이터셋과 속성 측정 기준에서 실행 시간을 크게 감소시키며, KDD99 및 WEKA15360에서 가장 두드러진 개선 효과를 보였다.
• 특성 평가당 평균 시간은 32개 코어에서 4.649초에서 128개 코어로 증가할 경우 1.406초로 감소하여 효율적인 로드 분배를 확인할 수 있다.
• PLAR는 데이터 I/O를 최소화하고 Spark의 메모리 기반 처리를 활용하여 반복 주기 속도를 높여 기존 Hadoop 기반 솔루션을 능가한다.
• 모든 테스트된 히وري스틱 알고리즘(PR, SCE, LCE, CCE)에 대해 코어 수 증가에 따라 효과적으로 확장되며 일관된 성능 향상을 보였다.