[논문 리뷰] Astro-WISE: Chaining to the Universe

E. A. Valentijn, John Mc Farland외 19명|arXiv (Cornell University)|2007. 02. 07.

Scientific Computing and Data Management참고 문헌 1인용 수 18

한 줄 요약

Astro-WISE는 영구적인 메타데이터와 실행 가능한 워크플로우를 사용하여 모든 과학적 데이터 항목을 원시 관측으로 거슬러 올라가 연결하는 확장성 있고 종단 간 데이터 기원 추적 시스템을 도입한다. 연합형 웹 기반 데이터베이스 시스템을 통해 전체 후행 및 전행 연결을 강제함으로써, 원시 데이터를 동적이고 상호작용 가능한 분석 및 분산 천문학 아카이브를 넘어서 재현 가능한 과학으로 전환한다.

ABSTRACT

The recent explosion of recorded digital data and its processed derivatives threatens to overwhelm researchers when analysing their experimental data or when looking up data items in archives and file systems. While current hardware developments allow to acquire, process and store 100s of terabytes of data at the cost of a modern sports car, the software systems to handle these data are lagging behind. This general problem is recognized and addressed by various scientific communities, e.g., DATAGRID/EGEE federates compute and storage power over the high-energy physical community, while the astronomical community is building an Internet geared Virtual Observatory, connecting archival data. These large projects either focus on a specific distribution aspect or aim to connect many sub-communities and have a relatively long trajectory for setting standards and a common layer. Here, we report "first light" of a very different solution to the problem initiated by a smaller astronomical IT community. It provides the abstract "scientific information layer" which integrates distributed scientific analysis with distributed processing and federated archiving and publishing. By designing new abstractions and mixing in old ones, a Science Information System with fully scalable cornerstones has been achieved, transforming data systems into knowledge systems. This break-through is facilitated by the full end-to-end linking of all dependent data items, which allows full backward chaining from the observer/researcher to the experiment. Key is the notion that information is intrinsic in nature and thus is the data acquired by a scientific experiment. The new abstraction is that software systems guide the user to that intrinsic information by forcing full backward and forward chaining in the data modelling.

연구 동기 및 목표

• 현대 광시야 이미징 설문으로부터 발생하는 거대한 다이타브이트 단위의 천문학적 데이터 스트림을 다루는 데서 발생하는 확장성 위기 해결
• 모든 재처리가 필요로 하는 전통적인 '프론트피드' 데이터 처리 파이프라인의 한계를 극복하여 새로운 방법이나 보정을 적용할 경우
• 연구자가 모든 파생 결과가 원시 데이터와 처리 단계로 거슬러 올라가는 것을 보장함으로써 재현 가능성과 투명성 확보
• 이질적인 데이터 소스 전반에서 분산 처리, 아카이브, 출판을 통합하는 통합적이고 확장 가능한 과학 정보 계층 구축
• 사용자가 맞춤형 방법으로 결과를 재계산하고 통찰을 다시 시스템에 피드백할 수 있도록 허용함으로써 상호작용적이고 통찰 중심의 분석 지원

제안 방법

• 시스템은 원시 이미지에서 최종 과학적 파rameter에 이르기까지 모든 데이터 항목을 관계형 데이터베이스 스키마를 통해 영구적으로 연결함으로써 전체 후행 및 전행 연결을 강제한다.
• 웹 기반 GUI와 Python '피클'(직렬화된 객체)을 사용하여 사용자가 수정한 분석 스크립트를 리눅스 농장 연합 내 분산 처리 노드로 전송한다.
• 객체 상속, 데이터베이스 조인, 참조 및 Python 네임스페이스 처리를 조합하여 포인터 메커니즘을 통합한다.
• Oracle 데이터베이스 파artitioning과 HTM(Hierarchical Triangular Mesh) 인덱싱을 활용하여 최대 100TB 데이터 볼륨에서 빠르고 확장 가능한 쿼리 수행
• 고정된 워크플로우 관리 시스템이 필요 없도록 동적 워크플로우 엔진을 통해 온디맨드 처리를 지원한다.
• 데이터 제품에 플래그를 설정함으로써 유럽 가상 관측소(Euro-VO)에의 출판을 가능하게 하여 정적 및 동적 결과 모두 공유 가능

실험 결과

연구 질문

• RQ1 거대하고 분산된 데이터 스트림 전반에서 완전한 재현 가능성과 기원 추적을 지원하기 위해 과학적 데이터 시스템은 어떻게 재설계될 수 있는가?
• RQ2 모든 원시 데이터 재처리가 필요로 하지 않는 조건에서 대규모로 확장 가능하고 상호작용 가능한 분석을 가능하게 하는 아키텍처 패턴은 무엇인가?
• RQ3 데이터 처리, 아카이브, 출판을 통합하면서도 전체 데이터 라인레이지를 유지하는 통합 정보 계층을 구축할 수 있는가?
• RQ4 연구자가 페타바이트 단위의 데이터셋에서 희귀하거나 희미한 천체 객체(예: 초신성, 일시적 천체)를 효율적으로 탐색할 수 있는 방법은 무엇인가?
• RQ5 종단 간 데이터 연결이 대규모 관측 천문학에서 데이터 관리 부담을 줄이고 과학적 통찰을 증가시키는 데 얼마나 기여할 수 있는가?

주요 결과

• 시스템은 KIDs 1500–5000도 설문에서 거의 1테라바이트의 데이터를 성공적으로 관리하고 연결하여 대용량 데이터에 대한 확장성 입증
• 완전한 후행 연결이 달성되어 사용자가 최종 결과에 기여한 모든 데이터 항목, 보정, 처리 단계를 검색할 수 있음
• 사용자가 수정한 Python 스크립트를 사용하여 데이터 제품을 온디맨드로 재처리할 수 있어 동적이고 상호작용 가능한 분석 지원
• 영구적인 Python '피클' 사용으로 맞춤형 분석 논리를 분산 처리 노드로 안전하고 효율적으로 전송 가능
• Oracle 파artitioning과 HTM 인덱싱 통합으로 대규모 데이터셋 전반에서 천체 소스 간 빠른 다대다 관계 설정 가능
• 분산된 지식과 피드백 루프를 활용하여 보다 정확도가 향상된 글로벌 천체측정 및 광학 측정 솔루션 제공 가능