[논문 리뷰] Folding@Home and Genome@Home: Using distributed computing to tackle previously intractable problems in computational biology

Stefan Larson, Christopher D. Snow외 2명|ArXiv.org|2009. 01. 07.

Genomics and Phylogenetic Studies참고 문헌 25인용 수 278

한 줄 요약

이 논문은 단백질 접힘 시뮬레이션과 같은 기존에 해결이 불가능한 문제를 해결하기 위해 자원봉사자들이 기여한 개인용 컴퓨터를 활용하는 분산 계산 플랫폼인 Folding@Home와 Genome@Home를 제시한다. 전 세계에 산재한 수만 대의 컴퓨터를 활용함으로써 시뮬레이션 속도가 수십만 배 가량 향상되어, 이전에는 기존 하드웨어로는 계산이 불가능했던 복잡한 생물학적 과정의 연구가 가능해졌다.

ABSTRACT

For decades, researchers have been applying computer simulation to address problems in biology. However, many of these "grand challenges" in computational biology, such as simulating how proteins fold, remained unsolved due to their great complexity. Indeed, even to simulate the fastest folding protein would require decades on the fastest modern CPUs. Here, we review novel methods to fundamentally speed such previously intractable problems using a new computational paradigm: distributed computing. By efficiently harnessing tens of thousands of computers throughout the world, we have been able to break previous computational barriers. However, distributed computing brings new challenges, such as how to efficiently divide a complex calculation of many PCs that are connected by relatively slow networking. Moreover, even if the challenge of accurately reproducing reality can be conquered, a new challenge emerges: how can we take the results of these simulations (typically tens to hundreds of gigabytes of raw data) and gain some insight into the questions at hand. This challenge of the analysis of the sea of data resulting from large-scale simulation will likely remain for decades to come.

연구 동기 및 목표

• 단백질 접힘 시뮬레이션과 게놈 규모의 생물학적 과정을 시뮬레이션하는 데 있어 계산적으로 해결이 불가능한 문제를 해결하기 위해.
• 기존 고성능 컴퓨팅의 한계를 극복하기 위해 자원봉사자가 소유한 개인용 컴퓨터의 유휴 처리 시간을 활용하기 위해.
• 지리적으로 산재해 있고 대역폭이 낮은 네트워크에 걸쳐 복잡한 시뮬레이션을 스케일링 가능한 방식으로 분할하기 위한 방법을 개발하기 위해.
• 대규모 시뮬레이션에서 생성된 막대한 데이터 출력물로부터 생물학적 통찰을 관리하고 추출하기 위해.
• 기존에는 접근이 불가능했던 생물학적 메커니즘의 발견을 가능하게 하는 계산 생물학의 새로운 범주를 선도하기 위해.

제안 방법

• 자원봉사자들이 소프트웨어를 설치하여 유휴 CPU 및 GPU 처리 시간을 분산 계산 작업에 기여할 수 있는 클라이언트-서버 아키텍처를 사용한다.
• 시뮬레이션은 작은 독립적인 작업 단위로 분할되어 참가 클라이언트에 배포되고 결과가 취합된다.
• 신뢰할 수 없는 또는 간헐적인 네트워크 연결을 처리하기 위해 효율적인 데이터 패키징과 장애 내성 기법을 적용한다.
• 다중성 검증과 암호학적 해싱을 통해 이질적인 하드웨어 환경에서도 데이터 무결성을 확보한다.
• 프레임워크는 분자 동역학 시뮬레이션(Folding@Home)과 게놈 서열 분석(Genome@Home)을 모두 지원한다.
• 중앙 집중식 서버가 작업 배포, 진행 상황 모니터링, 생물학적 분석에 활용 가능한 데이터셋으로 결과를 취합한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 단백질 접힘 시뮬레이션을 생물학적으로 의미 있는 시간 척도로 효과적으로 확장할 수 있는가?
• RQ2 수천 대의 이질적이고 대역폭이 낮은 클라이언트 기기들을 효율적으로 관리하기 위해 필요한 아키텍처 및 네트워킹 전략는 무엇인가?
• RQ3 신뢰할 수 없는 자원봉사자 제공 컴퓨팅 자원에 의존할 경우 결과의 무결성과 정확성을 어떻게 확보할 수 있는가?
• RQ4 대규모 시뮬레이션 출력 데이터에서 테라바이트에 이르는 데이터에서 의미 있는 생물학적 통찰을 도출하기 위해 어떤 방법을 사용할 수 있는가?
• RQ5 기존 슈퍼컴퓨터로는 도달할 수 없었던 복잡한 생물학적 시스템을 연구하는 데에 분산 계산이 상당한 시간 단축 효과를 낼 수 있는가?

주요 결과

• 분산 계산 모델 덕분에 단일 CPU에서 수십 년이 걸릴 단백질 접힘 시뮬레이션을 수 주 만에 완료할 수 있었다.
• 10만 대 이상의 자원봉사자 컴퓨터를 활용함으로써 최첨단 슈퍼컴퓨터 수준의 지속적 계산 처리 능력을 달성했다.
• 다양한 신뢰성과 대역폭을 가진 개인용 컴퓨터로 구성된 이질적 네트워크에서 데이터 전송 및 장애 내성을 성공적으로 관리했다.
• 이전에는 전례 없이 대규모 및 고속으로 수행 가능한 분자 동역학 시뮬레이션의 실현 가능성을 입증했다.
• 저자들은 시뮬레이션에서 유입되는 데이터 폭풍이 새로운 도전 과제를 야기한다는 점을 관찰했다: 각 시뮬레이션에서 수백 GB의 원시 출력 데이터에서 생물학적으로 관련 있는 통찰을 추출하는 것.
• 자원봉사 컴퓨팅의 잠재력을 검증하여 이전에는 해결이 불가능하다고 여겨졌던 계산 생물학의 '대과제' 문제를 해결할 수 있음을 입증했다.