[논문 리뷰] A Survey of Methods for Collective Communication Optimization and Tuning

Udayanga Wickramasinghe, Andrew Lumsdaine|arXiv (Cornell University)|2016. 11. 19.

DNA and Biological Computing참고 문헌 58인용 수 12

한 줄 요약

이 논문은 복수의 예측기 조합, 특성 차원 감소, 자동화되고 확장 가능한 파rameter 조정을 통해 HPC 워크로드에서 집합적 통신을 최적화하기 위한 새로운 하이브리드 기계학습 아키텍처인 UMTAC을 제안한다. 조합적 폭발 문제를 해결하기 위해 앙상블 학습과 차원 감소 기법을 활용하여 엑사스케일 시스템에 적합한 강건하고 일반화 가능한 성능 예측 모델을 구축하고자 한다.

ABSTRACT

New developments in HPC technology in terms of increasing computing power on multi/many core processors, high-bandwidth memory/IO subsystems and communication interconnects, pose a direct impact on software and runtime system development. These advancements have become useful in producing high-performance collective communication interfaces that integrate efficiently on a wide variety of platforms and environments. However, number of optimization options that shows up with each new technology or software framework has resulted in a \emph{combinatorial explosion} in feature space for tuning collective parameters such that finding the optimal set has become a nearly impossible task. Applicability of algorithmic choices available for optimizing collective communication depends largely on the scalability requirement for a particular usecase. This problem can be further exasperated by any requirement to run collective problems at very large scales such as in the case of exascale computing, at which impractical tuning by brute force may require many months of resources. Therefore application of statistical, data mining and artificial Intelligence or more general hybrid learning models seems essential in many collectives parameter optimization problems. We hope to explore current and the cutting edge of collective communication optimization and tuning methods and culminate with possible future directions towards this problem.

연구 동기 및 목표

• 진화하는 HPC 하드웨어 및 소프트웨어 스택으로 인한 집합적 통신의 튜닝 파rameter 조합의 기하급수적 증가 문제 해결
• 다양한 런타임 환경에서 잘 작동하는 일반화되고 이식 가능한 집합적 통신 구현 부족 문제 해결
• 다양한 하드웨어 및 애플리케이션 환경에서 최적의 집합적 통신 파rameter를 예측하기 위한 통합적이고 확장 가능한 프레임워크 개발
• 세부적인 성능 모델링을 통해 애플리케이션 프로토타이핑 단계에서 성능 병목 현상을 조기에 탐지할 수 있도록 지원
• 엑사스케일 워크로드에 대응할 수 있는 강건하고 일반화 가능한 집합 연산 예측 모델 개발

제안 방법

• UMTAC 기반 회귀 모델과 배깅, 부스팅과 같은 앙상블 학습 기법을 통합한 모듈식 아키텍처인 UMTAC을 제안하여 복수의 예측기를 통합
• PCA, 요인 분석, 다차원 척도법을 활용한 특성 감소 기법을 적용하여 상관관계가 있거나 불필요한 입력 특성을 제거하고 차원을 감소시켜 모델 효율성 향상
• 런타임 데이터와 시스템 피드백을 반복적으로 활용하여 모델을 점진적으로 개선하는 피드백 루프 구성
• 예측 성능이 기준치를 충족하지 못할 경우 모델 검증기(Model Validator)가 이를 감지하고 리액터 코어(Reactor Core)를 통해 개선 작업을 유도
• 기울기 하강법 등 최적화 기법을 활용해 파arameter 스윕을 수행함으로써 주어진 프로세서 수나 구성에 최적의 파arameter 조합을 외삽
• 기계학습 및 데이터 마이닝 분야의 최선의 실천 사례를 융합하여 집합 연산을 위한 강력한 하이브리드 예측 함수 구축

실험 결과

연구 질문

• RQ1 다양한 HPC 플랫폼에서 집합적 통신의 튜닝 파arameter 조합의 기하급수적 증가 문제를 효과적으로 관리할 수 있는 방법은 무엇인가?
• RQ2 어떤 기계학습 및 데이터 마이닝 기법이 집합적 통신 성능에 대해 강건하고 일반화 가능한 예측 모델을 생성할 수 있는가?
• RQ3 앙상블 학습과 차원 감소 기법이 집합적 통신 튜닝 모델의 정확도와 확장성 향상에 기여할 수 있는가?
• RQ4 통합 아키텍처는 어떻게 엑사스케일에서 자동화되고 확장 가능하며 정확한 파arameter 최적화를 가능하게 하는가?
• RQ5 이러한 시스템은 응용 프로그램 개발 라이프사이클의 초기 단계에서 얼마나 효과적으로 성능 병목 현상을 탐지할 수 있는가?

주요 결과

• UMTAC은 다수의 학습 모델 조합과 차원 감소 기법을 통해 집합적 통신 파arameter의 확장 가능한 자동 튜닝을 가능하게 한다.
• 아키텍처는 기울기 하강법과 같은 반복 최적화 전략을 활용해 성능 예측 및 최적 파arameter 외삽을 지원한다.
• 배깅 및 부스팅과 같은 앙상블 방법을 통합함으로써 다양한 하드웨어 및 소프트웨어 환경에서 예측기의 강건성과 일반화 능력 향상
• 예측 성능이 사용자 정의 기준을 충족하지 못할 경우 모델 검증 컴포넌트가 이를 감지하고 개선을 유도함으로써 신뢰성 확보
• 리액터 코어 컴포넌트는 큰 가산 가능한 파arameter 공간에서 최적의 파arameter 조합을 효율적으로 탐색하여 빠른 프로토타이핑과 초기 병목 현상 탐지 지원
• 다양한 입력 특성을 융합하면서도 중복 요소를 제거함으로써 HPC 튜닝의 핵심 과제인 특성 폭발 문제를 해결하여 더 강력하고 이식 가능한 예측 모델 도출