[논문 리뷰] Redesigning pattern mining algorithms for supercomputers

Kazuki Yoshizoe, Aika Terada외 1명|arXiv (Cornell University)|2015. 10. 27.

Data Mining Algorithms and Applications참고 문헌 8인용 수 3

한 줄 요약

이 논문은 초고성능 컴퓨터를 대상으로 하여 고도로 확장 가능한 분산 메모리 병렬 알고리즘을 제안하며, 다수의 분산 스택을 활용한 초입체 구조 통신 모델을 통해 작업량을 균형 있게 분배하고 통신 병목 현상을 최소화한다. 이 방법은 대규모 개인 게놈 데이터에서 통계적으로 유의미한 돌연변이 패턴을 추출할 때 1200개 코어에서 최대 1175배의 성능 향상을 달성하여, 단순 병렬화 및 단일 코어 기반 기준보다 높은 성능을 보인다.

ABSTRACT

Upcoming many core processors are expected to employ a distributed memory architecture similar to currently available supercomputers, but parallel pattern mining algorithms amenable to the architecture are not comprehensively studied. We present a novel closed pattern mining algorithm with a well-engineered communication protocol, and generalize it to find statistically significant patterns from personal genome data. For distributing communication evenly, it employs global load balancing with multiple stacks distributed on a set of cores organized as a hypercube with random edges. Our algorithm achieved up to 1175-fold speedup by using 1200 cores for solving a problem with 11,914 items and 697 transactions, while the naive approach of separating the search space failed completely.

연구 동기 및 목표

• 향후 다핵심 초고성능 컴퓨팅 아키텍처를 고려한 확장 가능하고 분산 메모리 최적화된 패턴 마이닝 알고리즘이 부족한 문제를 해결하기 위해.
• 예를 들어 HapMap 및 MCF7 데이터셋의 돌연변이 프로파일을 포함한 고밀도 대규모 개인 게놈 데이터에서 통계적으로 유의미한 패턴을 효율적으로 추출하기 위해.
• 전역적 작업 균형을 위해 무작위로 연결된 간선을 가진 초입체 구조에 따라 스택을 분산시켜 병렬 검색 중 발생하는 통신 병목 현상을 완화하기 위해.
• 패턴 마이닝과 함께 다중 검정 절차(LAMP)를 통합하여 가족-wise 오류율 제어를 정확히 보장하기 위해.
• 단순 병렬화 또는 공유 메모리 접근 방식에 비해 계산 집약적이고 고밀도 패턴 마이닝 워크로드에서 뛰어난 확장성과 성능을 보여주기 위해.

제안 방법

• 알고리즘은 LCM(Linear time Closed itemset Miner) 프레임워크를 기반으로 하지만, 계산 노드의 초입체 토폴로지에 따라 다수의 검색 스택을 분산 배치함으로써 분산 메모리 환경에 맞게 재설계되었다.
• 모든 코어가 로컬 스택을 유지하고, 무작위로 연결된 간선을 통해 이웃 코어로부터 동적으로 작업을 끌어오는 방식의 전역 작업 균형 전략을 적용하여 통신과 계산의 균형을 맞춘다.
• 통신 프로토콜은 메시지 트래픽을 균일하게 분배하고 핫스팟을 방지하기 위해 무작위 간선을 가진 초입체를 사용하여 효율적인 병렬 처리를 보장한다. 이는 불균형한 트리에서 깊이 우선 탐색을 효율적으로 병렬화한다.
• 통계적 유의성은 LAMP(Limitless-arity Multiple Testing Procedure) 프레임워크를 사용하여 평가하며, Tarone의 P-값 경계를 적용한 Bonferroni 유사 보정을 통해 가족-wise 오류율을 제어한다.
• 알고리즘은 깊이 우선 탐색과 동적 워크 스틸링을 통합하고, 지지도수 계산을 통한 프루닝을 지원하여 큰 검색 공간을 효율적으로 탐색할 수 있도록 한다.
• 실제 개인 게놈 데이터셋에서 관찰되는 고밀도 데이터베이스에 최적화된 구현으로, 대규모 아이템세트와 높은 트랜잭션 수에 대해 성능이 최적화되어 있다.

실험 결과

연구 질문

• RQ1 수천 개의 코어를 가진 초고성능 컴퓨터에서 분산 메모리 병렬 패턴 마이닝 알고리즘이 고도로 확장 가능하고 작업 균형을 잘 맞출 수 있는가?
• RQ2 무작위 간선을 가진 초입체 기반 통신 모델이 병렬 패턴 마이닝 중 발생하는 통신 병목 현상을 얼마나 효과적으로 줄이는가?
• RQ3 LAMP의 다중 검정 보정 통합이 대규모 유전체 데이터에서 탐지된 패턴의 통계적 신뢰도를 얼마나 향상시키는가?
• RQ4 고밀도 고차원 데이터셋에서 제안된 알고리즘이 단일 코어 및 단순 병렬화 구현에 비해 속도 향상과 확장성 측면에서 얼마나 뛰어난가?
• RQ5 실제 개인 게놈 데이터에서 통계적으로 유의미한 돌연변이 패턴을 추출하는 데 있어 이 알고리즘이 계산 요구사항을 효율적으로 처리할 수 있는가?

주요 결과

• 제안된 알고리즘은 11,914개의 아이템과 697건의 트랜잭션을 포함한 데이터셋에서 1200개 코어를 사용할 때 최대 1175배의 성능 향상을 달성하여 단순 병렬화보다 뚜렷이 뛰어난 성능을 보였다.
• 알고리즘은 1200개 코어까지 성공적으로 확장되었으며, 더 복잡하고 고밀도 문제일수록 성능 향상이 증가하여 강한 약한 확장성(weak scaling) 특성을 보였다.
• HapMap 주요 20 데이터셋의 경우, 최대 8개의 아이템을 포함한 통계적으로 유의미한 아이템세트를 20초 이내로 발견했으며, 브루트 포스 방법으로는 이 작업이 불가능했다.
• 파이프라인의 세 번째 단계인 P-값 계산은 아이템세트당 10ms 미만으로 수행되어 통계 보정 단계의 오버헤드가 극히 미미함을 시사했다.
• 희박한 데이터셋에서는 단일 코어 기반 LAMP2가 병렬 구현보다 성능이 뛰어났지만, 제안된 방법은 고밀도 대규모 데이터셋에서 특히 코어 수가 증가함에 따라 뛰어난 성능을 보였다.
• 초입체 기반 통신 모델은 작업량을 효과적으로 균형 있게 분배하고 통신 핫스팟을 방지하여, 불균형한 트리에서 깊이 우선 탐색의 효율적 병렬화를 가능하게 했다.