[논문 리뷰] Challenges for LSST scale data sets

M. J. Way|arXiv (Cornell University)|2011. 08. 25.

Astronomy and Astrophysical Research참고 문헌 5인용 수 3

한 줄 요약

이 논문은 대규모 시노프틱 설문 태양계초월망(_LSST_)의 데이터 폭발이 초래하는 계산 문제를 분석하며, 2MASS에서 SDSS까지의 데이터 접근 모델을 비교하고 향후 워크플로우를 예측한다. 논문은 저장비용 감소로 인해 로컬 스토리지가 LSST 데이터에 대해 실현 가능할 수는 있지만, 입출력(I/O) 병목 현상과 고급 분석의 O(N²) 복잡도로 인해 데이터베이스-현지 계산으로의 전환 필요성을 주장한다. 이는 LSST 규모의 데이터셋을 과학적으로 활용하기 위해 강력하고 고속 입출력을 갖춘 계산 센터 개발을 촉구한다.

ABSTRACT

The Large Synoptic Survey Telescope (LSST) simulator being built by Andy Connolly and collaborators is an impressive undertaking and should make working with LSST in the beginning stages far more easy than it was initially with the Sloan Digital Sky Survey. However, I would like to focus on an equally important problem that has not yet been discussed here, but in the coming years the community will need to address -- can we deal with the flood of data from LSST and will we need to rethink the way we work?

연구 동기 및 목표

• 2MASS와 SDSS에서 사용된 전통적인 데이터 분석 워크플로우가 LSST의 페타바이트 규모 데이터셋에 스케일링 가능한지 평가하기.
• LSST 데이터에 대해 로컬 스토리지와 레거시 도구 사용의 실현 가능성 평가하기.
• 특히 데이터-현지 계산을 포함한 새로운 계산 패러다임이 LSST 규모 데이터를 처리하기 위해 필수적인지 조사하기.
• 고성능 컴퓨팅 센터가 LSST 데이터로부터 과학적 발견을 가능하게 하는 데서 수행하는 역할 파악하기.

제안 방법

• 2MASS(디스크 기반, ASCII 카탈로그)에서부터 SDSS(SQL 기반, 웹 쿼리 인터페이스)까지의 역사적 데이터 접근 모델을 비교하여 데이터 상호작용의 기준을 설정한다.
• LSST 데이터 규모 분석: 10년 동안 약 10PB의 쿼리 데이터베이스와 60PB의 이미지 데이터를 추정하고, 계산 요구사항을 예측한다.
• Amdahl의 법칙을 적용하여 시스템 균형을 평가하고, CPU 및 메모리 성장 대비 입출력(I/O) 제약을 중심으로 분석한다.
• 클러스터링, 분류 등 O(N²) 알고리즘의 실현 가능성 평가: 고속 입출력 대역폭이 없으면 O(N) 알고리즘조차도 비현실적일 수 있음을 지적한다.
• 오직 고속 입출력을 갖춘 계산 센터(예: 국가 슈퍼컴퓨팅 센터)만이 가장 데이터 집약적인 과학 워크플로우를 지원할 수 있음을 제안한다.
• SQL 기반 웹 인터페이스(CASJOBS 등)의 계속 사용을 지지하지만, 로컬 데이터 사용이 입출력 성능 제약으로 인해 제한될 수 있음을 경고한다.

실험 결과

연구 질문

• RQ1 입출력 제약이 존재하는 상황에서 연구자들이 전통적인 2MASS 스타일의 로컬 데이터 분석 도구를 LSST 규모 데이터셋에 계속 사용할 수 있는가?
• RQ2 스케일과 입출력 요구사항을 감안할 때, SDSS 스타일의 웹 기반 SQL 쿼리가 LSST 데이터에 대해 얼마나 유연하게 유지될 수 있는가?
• RQ3 특히 O(N²) 알고리즘을 포함한 많은 LSST 과학 목표를 달성하기 위해 데이터-현지 계산으로의 근본적 전환은 필수적인가?
• RQ4 고속 입출력을 갖춘 계산 센터는 LSST 데이터의 확장 가능한 분석을 가능하게 하는 데서 어떤 역할을 하는가?
• RQ5 저장 밀도와 입출력 성능의 역사를 바탕으로, LSST 데이터의 로컬 스토리지 및 분석이 지속 가능한가?

주요 결과

• 저장비용 감소와 디스크 밀도 증가로 인해 데스크톱 시스템에 전체 LSST 데이터셋을 로컬 스토리지하는 것은 기술적으로 실현 가능하다.
• 실현 가능하더라도, 특히 디스크당 100MB/s의 순차적 입출력 병목 현상으로 인해 기존 도구를 사용할 경우 LSST 규모 데이터에서 성능이 심각하게 저하될 것이다.
• 페타스케일 입출력를 처리할 수 있는 균형 잡힌 시스템을 구현하려면 약 100만 대의 디스크가 각각 100MB/s의 성능을 내야 하며, 이는 중대한 인프라 과제를 암시한다.
• Amdahl의 법칙에 따르면 입출력 병목 현상으로 인해 CPU 및 메모리 성장만으로는 충분하지 않으며, 비례적인 입출력 향상 없이는 많은 레거시 도구가 전체 LSST 데이터 분석에 비현실적이게 된다.
• 클러스터링, 밀도 추정 등 O(N²) 연산을 포함하는 과학 워크플로우는 고속도 입출력 없이 로컬 시스템에서 실현 가능하지 않으며, 이는 중심화된 데이터 센터에서의 계산이 필수적임을 시사한다.
• PSC, NCSA, NAS와 같은 국립 슈퍼컴퓨팅 센터는 LSST 데이터를 호스팅하고 전문 사용자가 데이터-현지 계산이 필요한 과학 워크플로우를 지원하는 데 가장 적합한 위치에 있다.