[논문 리뷰] Is HDF5 a good format to replace UVFITS?

Danny C. Price, Benjamin R. Barsdell외 1명|arXiv (Cornell University)|2014. 11. 03.

Fluorine in Organic Chemistry참고 문헌 3인용 수 5

한 줄 요약

이 논문은 사운드 천문학에서 UVFITS의 대체로 HDF5를 평가하며, FITS 데이터 모델을 HDF5로 직접 매핑하여 호환성을 유지하면서도 I/O 성능, 압축률, 확장성 향상의 이점을 누리고자 한다. 저자들은 FITS 및 MeasurementSet 데이터를 최소한의 손실로 HDF5로 변환하는 도구(fits2hdf 및 ms2hdf)를 개발하여 bitshuffle를 사용해 7.5초 만에 1.65배의 압축률을 달성했으며, 이는 gzip이 53초 동안 1.40배의 압축률을 기록한 것보다 1.40배 빠른 성능을 보였다.

ABSTRACT

The FITS (Flexible Image Transport System) data format was developed in the late 1970s for storage and exchange of astronomy-related image data. Since then, it has become a standard file format not only for images, but also for radio interferometer data (e.g. UVFITS, FITS-IDI). But is FITS the right format for next-generation telescopes to adopt? The newer Hierarchical Data Format (HDF5) file format offers considerable advantages over FITS, but has yet to gain widespread adoption within radio astronomy. One of the major holdbacks is that HDF5 is not well supported by data reduction software packages. Here, we present a comparison of FITS, HDF5, and the MeasurementSet (MS) format for storage of interferometric data. In addition, we present a tool for converting between formats. We show that the underlying data model of FITS can be ported to HDF5, a first step toward achieving wider HDF5 support.

연구 동기 및 목표

• 차세대 사운드 천문학 데이터셋을 처리하는 데 있어 FITS 및 UVFITS의 한계를 해결하기 위해.
• 고도화된 저장 모델과 성능 기능을 바탕으로 HDF5가 가시성 데이터 저장에 실현 가능한 대안이 되는지 평가하기 위해.
• 기존 소프트웨어에 대한 변경 없이도 FITS 및 MeasurementSet 데이터 모델을 HDF5로 매핑함으로써 역호환성을 보장하기 위해.
• FITS, MS, HDF5 간의 포맷 간 전환을 원활하게 하기 위해 실용적인 도구를 개발하기 위해.
• HDF5가 기존 천문학 데이터 관례를 그대로 유지하면서도 효율성과 확장성 향상에 기여할 수 있음을 입증하기 위해.

제안 방법

• FITS HDU를 HDF5 그룹으로, FITS 카드를 HDF5 속성으로, FITS 데이터 페이로드를 HDF5 데이터셋으로 매핑하기.
• PyFITS와 h5py를 사용한 Python 기반 도구인 fits2hdf를 구현하여 표준화된 HDFITS 데이터 모델을 사용해 어떤 유효한 FITS 파일도 HDF5로 변환하기.
• 과학적 데이터에 적합한 효율성을 보이는 bitshuffle 필터를 사용해 가시성 데이터의 압축을 최적화하기.
• ms2hdf 유틸리티를 통해 MeasurementSet(이하 MS) 형식을 지원하기 위해 HDF5 내부에 HDF-MS 데이터 모델을 구축하여 변환 파이프라인을 확장하기.
• 손실 없는 변환을 가능하게 하기 위해 HDF5의 제한된 서브셋을 유지함으로써 복원 가능성을 확보하기.
• 1.2 GB 크기의 LEDA 관련기 데이터셋을 사용해 압축률과 왤기 시간을 비교함으로써 접근 방식의 타당성을 검증하기.

실험 결과

연구 질문

• RQ1 가시성 데이터의 FITS 데이터 모델을 HDF5 데이터 모델로 효과적으로 매핑할 수 있는가? 이 과정에서 호환성은 손상되지 않는가?
• RQ2 HDF5는 사운드 간섭계 데이터에 대해 FITS에 비해 측정 가능한 I/O 성능 향상과 압축률 향상을 제공하는가?
• RQ3 기존의 데이터 감소 소프트웨어가 최소한의 수정만으로 HDF5에 저장된 가시성 데이터를 읽을 수 있는가?
• RQ4 실제 사운드 천문학 데이터셋에서 bitshuffle 필터를 적용한 HDF5의 성능은 어떠한가?
• RQ5 UVFITS 및 MeasurementSet에서 HDF5로의 전환 과정에서 역호환성을 유지하는 것은 가능한가?

주요 결과

• HDF5 형식은 데이터 의미를 유지하면서도 손실 없는 변환을 가능하게 하는 체계적인 매핑을 통해 FITS 및 MeasurementSet 데이터 모델을 지원한다.
• bitshuffle 필터를 사용하여 1.2 GB 크기의 가시성 데이터셋에 대해 7.5초 만에 1.65배의 압축률을 달성했으며, 이는 gzip이 53.0초 동안 1.40배의 압축률을 기록한 것보다 1.40배 더 빠른 성능을 보였다.
• fits2hdf 및 ms2hdf 도구는 UVFITS 및 MeasurementSet 파일을 HDF5로 변환하면서도 데이터 무결성을 유지하고 있으며, 반대로도 변환 가능함을 입증했다.
• HDF5는 병렬 I/O, 데이터 청크, 외부 저장소 지원 기능을 내장하고 있어 대규모 차세대 사운드 천체망원경 데이터 처리에 매우 적합하다.
• HDFITS 데이터 모델은 HDF5의 제한된 서브셋이므로, 어떤 HDFITS 파일도 데이터 손실 없이 FITS로 다시 변환할 수 있다.
• 본 연구는 HDF5가 기존 소프트웨어 생태계를 완전히 재설계하지 않더라도 확장 가능하고 효율적이며 확장성이 뛰어난 UVFITS의 대체 수단이 될 수 있음을 입증했다.