[논문 리뷰] Collective Mind: cleaning up the research and experimentation mess in computer engineering using crowdsourcing, big data and machine learning

Grigori Fursin|arXiv (Cornell University)|2013. 08. 11.

Parallel Computing and Optimization Techniques참고 문헌 35인용 수 4

한 줄 요약

이 논문은 컴퓨터 공학 분야에서 체계적이고 재현 가능하며 협업 가능한 연구를 위한 커스터마이징된, 플러그인 기반의 오픈소스 인프라인 Collective Mind을 제안한다. 이는 대규모 데이터, 머신러닝, 실세계 실험을 통해 실험 자료 공유, 시스템 행동 모델링, 최적화 히ュ리스틱 및 예측 모델의 공동 검증 및 향상 기능을 통해 소프트웨어-하드웨어 공동 설계, 최적화 및 튜닝을 자동화하고 향상시킨다.

ABSTRACT

Software and hardware co-design and optimization of HPC systems has become intolerably complex, ad-hoc, time consuming and error prone due to enormous number of available design and optimization choices, complex interactions between all software and hardware components, and multiple strict requirements placed on performance, power consumption, size, reliability and cost. We present our novel long-term holistic and practical solution to this problem based on customizable, plugin-based, schema-free, heterogeneous, open-source Collective Mind repository and infrastructure with unified web interfaces and on-line advise system. This collaborative framework distributes analysis and multi-objective off-line and on-line auto-tuning of computer systems among many participants while utilizing any available smart phone, tablet, laptop, cluster or data center, and continuously observing, classifying and modeling their realistic behavior. Any unexpected behavior is analyzed using shared data mining and predictive modeling plugins or exposed to the community at cTuning.org for collaborative explanation, top-down complexity reduction, incremental problem decomposition and detection of correlating program, architecture or run-time properties (features). Gradually increasing optimization knowledge helps to continuously improve optimization heuristics of any compiler, predict optimizations for new programs or suggest efficient run-time (online) tuning and adaptation strategies depending on end-user requirements. We decided to share all our past research artifacts including hundreds of codelets, numerical applications, data sets, models, universal experimental analysis and auto-tuning pipelines, self-tuning machine learning based meta compiler, and unified statistical analysis and machine learning plugins in a public repository to initiate systematic, reproducible and collaborative research, development and experimentation with a new publication model where experiments and techniques are validated, ranked and improved by the community.

연구 동기 및 목표

• 광범위한 설계 공간과 상호의존적인 구성 요소로 인해 증가하는 복잡성, 비체계적인 성격, 재현 불가능성으로 인해 컴퓨터 시스템 최적화 분야의 연구가 악화되는 문제를 해결하기 위해.
• 프로그램과 아키텍처 간 지식 재사용이 어려운 전통적인 자동 튜닝 방법이 오랜 탐색 시간을 겪고, 이를 해결하기 위해.
• 공동 연구 기반의 실험 결과, 모델, 최적화 기법의 체계적이고 공동으로 검증하고 향상시킬 수 있도록 공유된 오픈 인프라를 통해.
• 다양한 장치와 플랫폼을 통해 실험을 분산화함으로써 온라인 및 오프라인 자동 튜닝, 예측 모델링, 행동 분석을 가능하게 하기 위해.
• 실험, 자료, 설명되지 않은 행동을 공유하고 공동으로 검증하는 새로운 출판 모델을 촉진하여 컴퓨터 공학 연구의 재현 가능성과 엄밀함을 향상시키기 위해.

제안 방법

• 실험 자료, 모델, 실험 파이프라인, 벤치마크, 코드릿 등을 저장하고 공유할 수 있는 스키마 없는 플러그인 기반 오픈소스 Collective Mind 저장소(c-mind.org/repo)를 구축한다.
• 통합된 웹 인터페이스와 온라인 조언 시스템을 통합하여 이질적인 장치(스마트폰, 랩탑, 클러스터, 데이터센터) 간 실시간 협업 분석 및 튜닝을 가능하게 한다.
• 데이터 마이닝 및 머신러닝 플러그인을 활용해 시스템 행동을 분류하고, 모델링하며, 예측하고, 프로그램, 아키텍처, 런타임 기능 간 상관관계를 탐지하며, 이상 현상을 공동 커뮤니티에 노출시킨다.
• 예상치 못한 행동을 분석하고 이를 더 작은 분석 가능한 구성 요소로 분해함으로써 상향식 복잡성 감소와 점진적 문제 분해를 실현한다.
• 차원 축소 및 통계 분석을 적용해 대규모 실험 데이터를 압축하고 체계화함으로써 모델의 효율성과 확장성을 향상시킨다.
• 적응형 탐색(예: 유전 알고리즘, 하이클라이밍)을 갖춘 통합형 컴파일 및 실행 파이프라인을 활용해 최적화 파rameter 전반에 걸친 자동 튜닝을 구현한다.

실험 결과

연구 질문

• RQ1 협업적이고 공동 연구 기반의 실험은 컴퓨터 시스템 연구의 재현 가능성과 엄밀함을 어떻게 향상시킬 수 있는가?
• RQ2 공동 사용 가능한 플러그인 기반 인프라는 소프트웨어-하드웨어 공동 설계에서 복잡한 최적화 공간을 탐색하는 데 소요되는 시간과 노력을 줄일 수 있는가?
• RQ3 머신러닝과 데이터 마이닝은 다양한 프로그램, 아키텍처, 워크로드 간의 시스템 행동을 어떻게 모델링하고 예측하는 데 사용될 수 있는가?
• RQ4 실험 자료 전체(실패한 결과나 설명되지 않은 행동 포함)를 공유할 경우 최적화 기법의 검증 및 향상에 어떤 영향을 미치는가?
• RQ5 통합적이고 확장 가능한 프레임워크는 사용자 요구사항에 기반해 프로그램의 스케일러블하고 실시간 온라인 튜닝 및 적응을 가능하게 할 수 있는가?

주요 결과

• Collective Mind 프레임워크는 공개 저장소에 수백 개의 코드릿, 벤치마크, 데이터셋, 실험 파이프라인을 공유함으로써 체계적이고 재현 가능하며 협업 가능한 연구를 가능하게 한다.
• 설명되지 않은 또는 이질적인 시스템 행동에 대한 공동 연구 기반 분석을 통해 공유된 데이터 마이닝 및 예측 모델링을 통해 관련 프로그램, 아키텍처, 런타임 기능의 검출 능력이 향상되었다.
• 컴파일러 및 메타컴파일러의 최적화 히ュ리스틱을 지속적으로 향상시키기 위해 프로그램, 데이터셋, 하드웨어 플랫폼 간 지식 재사용이 가능하다.
• 실세계 검증을 통해 학술 및 산업 프로젝트(예: IBM, Intel, CEA, Synopsys)에서 프레임워크의 효과성이 입증되었으며, 튜닝 복잡성 감소와 최적화 가속화에 기여하였다.
• 통계 및 머신러닝 플러그인을 갖춘 통합형 적응형 튜닝 파이프라인의 사용으로 성능 튜닝에서 수동적이고 비체계적인 실험의 필요성이 크게 감소하였다.
• 프레임워크는 전통적인 접근 방식(예: 루프라이드, 용량 모델)과 데이터 기반 기법을 결합한 하이브리드 예측 모델 개발을 가능하게 하여 정확도와 확장성 향상에 기여하였다.