[논문 리뷰] Designing and Mining Multi-Terabyte Astronomy Archives: The Sloan Digital Sky Survey

Alexander S. Szalay, Peter Kunszt외 2명|arXiv (Cornell University)|1999. 07. 06.

Astronomical Observations and Instrumentation참고 문헌 6인용 수 16

한 줄 요약

이 논문은 10,000 제곱도의 천구에 걸쳐 2억 개의 천체를 포함하는 테라바이트급 천문학 압축 아카이브인 슬론 디지털 스카이 서베이(SDSS)를 위한 확장 가능한 데이터 관리 아키텍처를 제안한다. 다차원 공간 색인 시스템, 데이터 분할, 클러스터링을 위한 해싱, 그리고 천체 간 거리와 유사도를 측정하는 전용 연산자를 통해 분산 서버에서 고차원적이고 상관관계가 있는 천문학적 데이터를 효율적으로 탐색할 수 있도록 한다.

ABSTRACT

The next-generation astronomy digital archives will cover most of the universe at fine resolution in many wave-lengths, from X-rays to ultraviolet, optical, and infrared. The archives will be stored at diverse geographical locations. One of the first of these projects, the Sloan Digital Sky Survey (SDSS) will create a 5-wavelength catalog over 10,000 square degrees of the sky (see http://www.sdss.org/). The 200 million objects in the multi-terabyte database will have mostly numerical attributes, defining a space of 100+ dimensions. Points in this space have highly correlated distributions. The archive will enable astronomers to explore the data interactively. Data access will be aided by a multidimensional spatial index and other indices. The data will be partitioned in many ways. Small tag objects consisting of the most popular attributes speed up frequent searches. Splitting the data among multiple servers enables parallel, scalable I/O and applies parallel processing to the data. Hashing techniques allow efficient clustering and pair-wise comparison algorithms that parallelize nicely. Randomly sampled subsets allow debugging otherwise large queries at the desktop. Central servers will operate a data pump that supports sweeping searches that touch most of the data. The anticipated queries require special operators related to angular distances and complex similarity tests of object properties, like shapes, colors, velocity vectors, or temporal behaviors. These issues pose interesting data management challenges.

연구 동기 및 목표

• 고차원적이고 상관관계가 있는 속성을 지닌 거대한 테라바이트급 천문학 데이터셋을 관리하고 쿼리하는 데 도전 과제를 해결하기 위해.
• 2억 개의 천체를 10,000 제곱도의 천구에 걸쳐 서브초 이내의 반응 시간으로 상호작용 가능한 탐색을 가능하게 하기 위해.
• 천체 간 거리와 물리적 성질 유사도를 포함한 복잡한 쿼리를 지원하는 분산형 확장 가능한 데이터 아키텍처를 설계하기 위해.
• 다차원 색인, 데이터 분할, 샘플링 기법을 통해 효율적인 데이터 마이닝을 지원하기 위해.
• 형태, 색상, 속도 벡터, 시간적 행동과 같은 천문학적 데이터 유형을 위한 전용 데이터베이스 연산자를 개발하기 위해.

제안 방법

• 천구상의 각도적 및 공간적 관계를 효율적으로 관리하기 위해 다차원 공간 색인을 활용한다.
• 병렬 I/O와 확장 가능한 처리를 위해 데이터를 여러 서버에 분할한다.
• 데이터 클러스터링과 효율적인 쌍별 비교 알고리즘 지원을 위해 해싱 기법을 사용한다.
• 일반적인 쿼리의 성능을 향상시키기 위해 자주 액세스되는 속성을 포함한 작은 태그 객체를 생성한다.
• 데이터베이스의 대부분을 다루는 스위핑 쿼리를 지원하기 위해 중심 서버에 데이터 펌프를 구현한다.
• 형태, 색상, 속도, 시간적 행동을 포함한 복잡한 유사도 테스트를 위한 커스터마이징된 데이터베이스 연산자를 도입한다.

실험 결과

연구 질문

• RQ1 2억 개의 천체를 10,000 제곱도의 천구에 걸쳐 서브초 이내 반응 시간으로 상호작용 가능한 고성능 쿼리가 가능한 테라바이트급 천문학 데이터베이스는 어떻게 아키텍처화할 수 있는가?
• RQ2 고차원적이고 상관관계가 있는 천문학적 데이터에 대한 효율적인 병렬 액세스와 처리를 가능하게 하는 색인 및 분할 전략은 무엇인가?
• RQ3 천체 간 거리와 물리적 성질 유사도를 위한 전용 연산자를 천문학용 관계형 데이터베이스 시스템에 어떻게 통합할 수 있는가?
• RQ4 전체 실행 없이도 대규모 천문학 쿼리의 디버깅 시간을 줄일 수 있는 기법은 무엇인가?
• RQ5 분산 환경에서 해싱과 다차원 색인을 활용해 데이터를 효율적으로 클러스터링하고 액세스하는 방법은 무엇인가?

주요 결과

• 제안된 아키텍처는 여러 서버에 걸친 분산 분할과 병렬 I/O를 통해 SDSS 데이터베이스에 대한 효율적이고 확장 가능한 액세스를 가능하게 한다.
• 다차원 공간 색인은 천구상의 각도적 거리와 공간적 근접성과 관련된 쿼리 성능을 크게 향상시킨다.
• 자주 액세스되는 속성을 포함한 태그 객체는 일반적인 분석 작업에 대한 쿼리 지연 시간을 감소시킨다.
• 해싱 기반 클러스터링은 병렬 환경에서 잘 스케일링되는 쌍별 비교 알고리즘의 효율적 실행을 가능하게 한다.
• 무작위로 추출된 서브셋은 전체 실행 전에 데스크톱 시스템에서 대규모 쿼리의 디버깅에 효과적으로 활용될 수 있다.
• 데이터 펌프 메커니즘은 데이터베이스의 대부분을 다루는 스위핑 쿼리를 지원하여 종합적인 데이터 마이닝을 가능하게 한다.