[논문 리뷰] Exploring Parallelism in Learning Belief Networks

T.-C. Chu, Yang Xiang|arXiv (Cornell University)|2013. 02. 06.

Bayesian Modeling and Causal Inference참고 문헌 8인용 수 3

한 줄 요약

이 논문은 다중 링크 앞서보기 검색의 계산 복잡도를 극복하기 위해 병렬 프로세서 간에 학습 작업을 분해하는 병렬 알고리즘을 제안한다. 대규모 데이터셋에서 느린 파일 I/O를 빠른 메모리 액세스로 대체하고 로드 밸런싱을 가능하게 함으로써, 병렬 컴퓨터 시스템에서 높은 성능 향상과 효율성 향상을 달성한다.

ABSTRACT

It has been shown that a class of probabilistic domain models cannot be learned correctly by several existing algorithms which employ a single-link look ahead search. When a multi-link look ahead search is used, the computational complexity of the learning algorithm increases. We study how to use parallelism to tackle the increased complexity in learning such models and to speed up learning in large domains. An algorithm is proposed to decompose the learning task for parallel processing. A further task decomposition is used to balance load among processors and to increase the speed-up and efficiency. For learning from very large datasets, we present a regrouping of the available processors such that slow data access through file can be replaced by fast memory access. Our implementation in a parallel computer demonstrates the effectiveness of the algorithm.

연구 동기 및 목표

• belief network 학습에서 다중 링크 앞서보기 검색의 높은 계산 복잡도를 해결하기 위해.
• 파일 기반 데이터 액세스를 메모리 기반 액세스로 대체하여 I/O 병목 현상을 줄임으로써 매우 큰 데이터셋에서 효율적인 학습을 가능하게 하기 위해.
• 프로세서 간의 로드 밸런싱을 향상시켜 최대의 속도 향상과 알고리즘 효율성을 달성하기 위해.
• 정확성을 유지하면서도 확장 가능한 병렬 프레임워크를 개발하여 확률적 그래픽 모델 학습을 가능하게 하기 위해.

제안 방법

• 알고리즘은 계산 부하를 분산하기 위해 belief network 학습 작업을 병렬 하위 작업으로 분해한다.
• 2차적 작업 분해를 적용하여 프로세서 간의 작업 부하 균형을 향상시키고 로드 밸런싱을 강화한다.
• 대규모 데이터셋의 경우, 느린 파일 기반 데이터 액세스를 빠른 메모리 기반 액세스로 대체하기 위해 프로세서를 재구성한다.
• 병렬 컴퓨팅 아키텍처를 활용하여 여러 노드에서 동시에 학습 프로세스를 실행한다.
• 전체 실행 시간을 단축시키면서도 다중 링크 앞서보기 검색의 정확성을 유지한다.

실험 결과

연구 질문

• RQ1 belief network 학습에서 다중 링크 앞서보기 검색의 계산 비용을 줄이기 위해 병렬 처리를 어떻게 효과적으로 활용할 수 있는가?
• RQ2 분산된 belief network 학습에서 로드 밸런싱과 속도 향상을 극대화하는 데 가장 효과적인 작업 분해 전략은 무엇인가?
• RQ3 병렬 환경에서 메모리 기반 데이터 액세스를 활용해 대규모 학습에서의 I/O 병목 현상을 어떻게 완화할 수 있는가?
• RQ4 제안된 병렬 알고리즘이 대규모 데이터셋에서 학습 효율성과 확장성에 얼마나 기여하는가?

주요 결과

• 제안된 병렬 알고리즘은 순차적 접근 방식에 비해 belief network 학습에서 뚜렷한 속도 향상을 달성한다.
• 작업 분해를 통한 로드 밸런싱은 학습 과정의 효율성과 확장성 향상에 기여한다.
• 파일 기반 I/O를 메모리 기반 액세스로 대체함으로써 데이터 액세스 지연을 감소시키고 대규모 데이터셋에서의 성능을 향상시킨다.
• 단일 링크 방법과 달리, 다중 링크 앞서보기 검색을 사용할 때도 정확성을 유지한다.