[논문 리뷰] Increasing GP Computing Power via Volunteer Computing

Daniel Lombraña González, Francisco Fernández de Vega외 7명|ArXiv.org|2008. 01. 08.

Distributed and Parallel Computing Systems참고 문헌 18인용 수 9

한 줄 요약

이 논문은 수천 대의 방치된 데스크톱 컴퓨터에 걸쳐 유전적 프로그래밍(GP) 워크로드를 분산함으로써 GP 계산 성능을 크게 향상시키기 위해 BOINC 자원봉사 컴퓨팅 플랫폼을 사용할 것을 제안한다. 직접 이식, 정적 링킹, 가상화의 세 가지 방법을 통해 무료로 기부된 자원을 사용해 최대 4.48배의 속도 향상과 25.67 GFLOPS의 계산 성능을 달성하였다.

ABSTRACT

This paper describes how it is possible to increase GP Computing Power via Volunteer Computing (VC) using the BOINC framework. Two experiments using well-known GP tools -Lil-gp & ECJ- are performed in order to demonstrate the benefit of using VC in terms of computing power and speed up. Finally we present an extension of the model where any GP tool or framework can be used inside BOINC regardless of its programming language, complexity or required operating system.

연구 동기 및 목표

• 시간 소모가 큰 유전적 프로그래밍(GP) 실험을 실행하는 데 드는 높은 계산 비용을 해결하기 위해 분산 자원봉사 컴퓨팅 자원을 활용하고자 한다.
• 기존의 순차적 GP 실행 방식의 한계와 개발도상국 연구자들이 전용 클러스터나 그리드 컴퓨팅을 사용하는 데 드는 높은 비용을 극복하고자 한다.
• 프로그래밍 언어, 운영체제, 복잡도에 관계없이 다양한 GP 프레임워크를 확장 가능한 자원봉사 컴퓨팅 환경에 원활하게 통합하고자 한다.
• 실제로 복잡한 GP 응용 프로그램(예: 컴퓨터 비전 분야)을 자원봉사 기반의 BOINC 인프라에서 실행하는 것의 가능성과 성능 향상을 입증하고자 한다.

제안 방법

• 자원봉사자들이 제공하는 데스크톱 컴퓨터로 이루어진 지리적으로 분산된 네트워크에 GP 워크로드를 BOINC 미들웨어를 통해 분산 배포한다.
• 세 가지 다른 통합 전략을 구현한다: (1) 경량 GP 도구(Lil-gp)의 직접 이식, (2) 다중 플랫폼 배포를 위한 정적 링킹된 GP 프레임워크(ECJ) 사용, (3) 복잡하고 이식성이 없는 GP 시스템(예: MATLAB 기반)을 캡슐화하기 위해 가상화 레이어(VM 기반)를 활용해 어떤 BOINC 클라이언트에서도 실행 가능하게 한다.
• 완전한 과학 계산 스택(운영체제, 라이브러리, 도구)이 하나의 이미지로 패ckaged된 가상화된 BOINC 환경을 설계하여, 어떤 호스트 운영체제(Windows, Linux, macOS)에서도 실행할 수 있도록 한다.
• 다양한 문제 크기와 구성 조건에서의 실험을 통해 실행 시간, 속도 향상도, 효과적 계산 성능(GFLOPS)을 측정하여 성능을 평가한다.
• BOINC 내부의 파arameter 스위프 모델을 활용해 병렬적으로 다수의 GP 설정을 실행함으로써 통계적 탄력성과 해의 품질을 향상시킨다.
• 동적 호스트 가용성(혼란도)과 신뢰성 있는 계산을 보장하기 위해 BOINC의 내장된 작업 스케줄링, 장애 내성, 클라이언트 관리 기능을 활용한다.

실험 결과

연구 질문

• RQ1 BOINC 기반 자원봉사 컴퓨팅을 통해 CPU 집약적인 문제에 대해 GP 워크로드의 실행을 효과적으로 확장하여 실행 시간을 단축시킬 수 있는가?
• RQ2 특히 복잡하고 이식성이 없는 GP 프레임워크들—수정 없이—자원봉사 컴퓨팅 환경에 얼마나 잘 통합될 수 있는가?
• RQ3 대규모 이질적인 자원봉사 기반 컴퓨터 풀에 분산 배포했을 때 GP 응용 프로그램의 성능(속도 향상도, 계산 성능)은 어떻게 변화하는가?
• RQ4 실제 GP 응용 프로그램(예: 컴퓨터 비전 분야)을 자원봉사 컴퓨팅 플랫폼에 배포할 때의 실용적 과제와 해결책은 무엇인가?

주요 결과

• 자원봉사 컴퓨팅을 통한 BOINC 활용으로 20비트 멀티플렉서 문제에 대해 1.95배의 속도 향상을 달성하였으며, 41台의 컴퓨터를 사용해 실행 시간을 1305330초에서 669759초로 단축시켰다.
• MATLAB 기반 GP 도구를 사용하는 복잡한 컴퓨터 비전 문제의 경우, 가상화 기반 접근 방식으로 4.48배의 속도 향상을 기록하였으며, 48시간 내로 12개의 해를 생성한 데 반해, 순차적 실행 시에는 215시간이 소요되었다.
• 가장 복잡한 실험에서 효과적 계산 성능이 25.67 GFLOPS에 도달하여, 자원봉사 컴퓨팅 자원을 활용해 고성능 GP 워크로드를 실행하는 것이 가능함을 입증하였다.
• 가상화 레이어를 통해 비이식성 있는 MATLAB 기반 GP 프레임워크를 OS나 시스템 설정에 관계없이 어떤 BOINC 클라이언트에서나 실행할 수 있도록 전체 환경을 VM 이미지로 캡슐화하였다.
• 호스트의 혼란도와 불규칙한 가용성에도 불구하고, 시스템은 신뢰성과 성능을 유지하였으며, 11비트 멀티플렉서 실험에서 총 868,352회의 적합도 평가가 완료되었다.
• 고성능 컴퓨팅 인프라에 접근할 수 없는 연구자들에게 특히 유리한 비용 제로, 확장 가능하고 이식 가능한 대규모 GP 실험 실행 솔루션을 제공한다.