[논문 리뷰] The Sloan Digital Sky Survey Science Archive: Migrating a Multi-Terabyte Astronomical Archive from Object to Relational DBMS

Aniruddha R. Thakar, Alexander S. Szalay외 2명|ArXiv.org|2004. 03. 12.

Advanced Database Systems and Queries참고 문헌 8인용 수 3

한 줄 요약

이 논문은 오브젝트지향 데이터베이스 관리 시스템(OODBMS)에서 관계형 데이터베이스 관리 시스템(RDBMS)으로의 이행을 다루며, 이는 쿼리 성능, 확장성, 벤더 지원의 한계로 인해 발생했다. 이전환은 대규모 천문학적 데이터(다수 테라바이트)에 대한 스케일러블 데이터 마이닝과 성능 향상을 가능하게 하였으며, 적절히 최적화된 경우 관계형 데이터베이스가 데이터 집약적인 과학적 워크로드에서 OODBMS를 능가할 수 있음을 입증한다.

ABSTRACT

The Sloan Digital Sky Survey Science Archive is the first in a series of multi-Terabyte digital archives in Astronomy and other data-intensive sciences. To facilitate data mining in the SDSS archive, we adapted a commercial database engine and built specialized tools on top of it. Originally we chose an object-oriented database management system due to its data organization capabilities, platform independence, query performance and conceptual fit to the data. However, after using the object database for the first couple of years of the project, it soon began to fall short in terms of its query support and data mining performance. This was as much due to the inability of the database vendor to respond our demands for features and bug fixes as it was due to their failure to keep up with the rapid improvements in hardware performance, particularly faster RAID disk systems. In the end, we were forced to abandon the object database and migrate our data to a relational database. We describe below the technical issues that we faced with the object database and how and why we migrated to relational technology.

연구 동기 및 목표

• 초기 오브젝트지향 데이터베이스 시스템의 한계로 인해 발생한 SDSS 과학 아카이브의 성능 저하 문제를 해결하기 위해.
• 대규모 천문학적 데이터 분석을 위한 데이터 마이닝 능력과 쿼리 효율성 향상을 위해.
• 벤더의 한계와 변화하는 하드웨어 요구사항으로 인해 OODBMS에서 관계형 DBMS로의 이행을 평가하고 수행하기 위해.
• 다수 테라바이트 데이터셋에 대한 고처리량, 복잡한 쿼리 처리를 위해 전문화된 도구를 개발하고 관계형 데이터베이스를 최적화하기 위해.
• growing 천문학적 데이터 아카이브를 고려할 때 장기적인 유지보수성, 확장성, 플랫폼 독립성을 확보하기 위해.

제안 방법

• 다수 테라바이트 천문학적 데이터 워크로드에 적합한지 평가한 후 상용 관계형 DBMS를 채택하였다.
• 기존 OODBMS에서 관계형 스키마로의 데이터 이관을 수행하였으며, 데이터 무결성과 관계를 유지하였다.
• 복잡한 쿼리 및 데이터 마이닝 작업을 지원하기 위해 RDBMS 위에 전문화된 도구를 설계하고 구축하였다.
• RAID 디스크 기술의 발전과 하드웨어 성능 향상을 활용하여 쿼리 실행 속도를 향상시켰다.
• SQL 쿼리 계획과 인덱싱 전략을 최적화하여 천문학적 데이터 검색의 응답 시간을 개선했다.
• 표준 SQL과 관계형 데이터베이스 표준을 활용하여 플랫폼 독립성과 이식 가능성을 확보하였다.

실험 결과

연구 질문

• RQ1 초기 오브젝트지향 데이터베이스가 왜 SDSS 과학 아카이브의 성능과 확장성 요구사항을 충족하지 못했는가?
• RQ2 OODBMS에서 RDBMS로의 이행을 결정하게 한 기술적 및 조직적 요인은 무엇인가?
• RQ3 특히 RAID 스토리지에서의 하드웨어 발전이 관계형 데이터베이스 선택에 어떤 영향을 미쳤는가?
• RQ4 의학, 천문학 등 데이터 집약적인 과학적 응용 분야에서 관계형 데이터베이스가 OODBMS를 얼마나 능가할 수 있었는가?
• RQ5 성공적인 이행과 최적화를 위해 필요한 아키텍처적 및 도구 기반의 변화는 무엇이었는가?

주요 결과

• OODBMS는 복잡한 분석 쿼리에 대한 쿼리 최적화 및 지원이 부족하여 효과적인 확장이 어려웠다.
• 핵심 기능 및 버그 수정을 위한 벤더의 지연이 시스템의 진화와 성능 튜닝을 크게 저해하였다.
• RAID 디스크 시스템의 급속한 발전이 OODBMS가 고I/O 스트림을 효과적으로 활용할 수 있는 능력을 뛰어넘어, OODBMS의 경쟁력이 감소하였다.
• 관계형 데이터베이스는 다수 테라바이트의 SDSS 데이터 워크로드에 대해 뛰어난 쿼리 성능, 확장성, 유지보수성을 제공하였다.
• RDBMS 위에 구축된 전문화된 도구들이 대규모 천문학적 데이터셋에서 효율적인 데이터 마이닝과 복잡한 쿼리 처리를 가능하게 하였다.
• 이행 결과, 천문학 연구를 위한 더 스케일러블하고 신뢰성 있으며 미래 지향적인 데이터 관리 시스템이 구축되었다.