[논문 리뷰] The Living Application

Derek Groen, Stefan Harfst외 1명|arXiv (Cornell University)|2010. 05. 01.

Distributed and Parallel Computing Systems참고 문헌 29인용 수 2

한 줄 요약

이 논문은 실행 중일 때 워크로드 및 환경 조건에 따라 최적의 격자 자원을 자동으로 선택하는 자가 관리 시스템인 '라이빙 애플리케이션'을 소개한다. 테스트 케이스에서 라이빙 시뮬레이션은 유럽과 미국의 기지 간에 GPU와 GRAPE를 지원하는 시스템을 실시간으로 전환하여 N체계 은하 충돌 모델링을 가속화했으며, 사용자에게 투명한 실시간 성능 최적화를 달성했다.

ABSTRACT

We present the living application, a method to autonomously manage applications on the grid. During its execution on the grid, the living application makes choices on the resources to use in order to complete its tasks. These choices can be based on the internal state, or on autonomously acquired knowledge from external sensors. By giving limited user capabilities to a living application, the living application is able to port itself from one resource topology to another. The application performs these actions at run-time without depending on users or external workflow tools. We demonstrate this new concept in a special case of a living application: the living simulation. Today, many simulations require a wide range of numerical solvers and run most efficiently if specialized nodes are matched to the solvers. The idea of the living simulation is that it decides itself which grid machines to use based on the numerical solver currently in use. In this paper we apply the living simulation to modeling the collision between two galaxies in a test setup with two specialized computers. This simulation switches at run-time between a GPU-enabled computer in the Netherlands and a GRAPE-enabled machine that resides in the United States, using an oct-tree N-body code whenever it runs in the Netherlands and a direct N-body solver in the United States.

연구 동기 및 목표

• 대규모 과학적 시뮬레이션에서 다양한 수치 해법기를 전문화된 하드웨어에 효율적으로 매핑하는 문제를 해결하기 위해.
• 고성능 계산에서 자원 할당에 대한 정적 워크플로우와 사용자 간섭에 의존도를 줄이기 위해.
• 응용 프로그램이 실시간으로 변화하는 계산 토폴로지와 워크로드에 자동으로 적응할 수 있도록 하기 위해.
• 분산된 지리적으로 산재한 격자 환경에서 자가 최적화 시뮬레이션의 실현 가능성을 입증하기 위해.

제안 방법

• 라이빙 애플리케이션은 실행 시점의 의사결정을 통해 현재 수치 해법기와 시스템 조건에 기반해 자원을 선택한다.
• 내부 상태와 외부 센서 데이터를 모니터링하여 실행에 적합한 계산 노드를 결정한다.
• 시스템은 네덜란드에 있는 GPU를 탑재한 컴퓨터와 미국에 있는 GRAPE를 탑재한 컴퓨터 사이를 동적으로 전환한다.
• 시뮬레이션은 네덜란드의 GPU 컴퓨터에서 오кт리스트 N체계 코드를 사용하고, 미국의 GRAPE 컴퓨터에서는 직접 N체계 해법기를 사용한다.
• 사용자 또는 워크플로우 도구의 간섭 없이 실행 중에 자원 전환이 이루어진다.
• 자원 전환 과정 동안 상태와 연속성을 유지하여 계산의 무결성을 확보한다.

실험 결과

연구 질문

• RQ1 과학적 응용 프로그램이 실행 중에 전문화된 계산 자원을 자동으로 선택하고 전환할 수 있는가?
• RQ2 응용 프로그램은 실시간 워크로드 및 하드웨어 특성에 기반해 자원 사용을 어떻게 적응시킬 수 있는가?
• RQ3 자기 관리 자원 관리가 분산된 이질적 격자 환경에서 성능 향상에 얼마나 기여할 수 있는가?
• RQ4 자기 최적화 시뮬레이션은 수동 설정과 외부 워크플로우 도구 의존도를 줄일 수 있는가?

주요 결과

• 라이빙 시뮬레이션은 실행 중에 네덜란드에 있는 GPU 컴퓨터와 미국에 있는 GRAPE 컴퓨터 사이를 성공적으로 전환했다.
• 시스템은 GPU에서는 오кт리스트 N체계 코드를, GRAPE에서는 직접 N체계 해법기를 사용하여 알고리즘을 하드웨어에 맞추어 적응했다.
• 사용자 입력이나 외부 워크플로우 조율 없이 자원 선택 및 전환이 이루어졌다.
• 토폴로지 변화가 발생하는 동안에도 응용 프로그램은 계산의 연속성과 상태를 유지했으며, 실행 중 적응 가능성의 가능성을 입증했다.