[논문 리뷰] Tiled Image Convention for Storing Compressed Images in FITS Binary Tables

R. L. White, P. Greenfield외 3명|arXiv (Cornell University)|2012. 01. 06.

Algorithms and Data Compression인용 수 11

한 줄 요약

이 논문은 FITS 이진 테이블에 압축된 n차원 이미지를 저장하기 위한 타일형 이미지 압축 규약을 소개한다. 이미지를 직사각형 타일로 나누고, 각 타일을 별도로 압축하여 가변 길이 컬럼에 저장함으로써, 이미지 부분에 대한 효율적인 무작위 액세스를 가능하게 하며, 다양한 압축 알고리즘(GZIP, RICE, HCOMPRESS 등)을 지원한다. 이 방법은 압축 비율이 최대 10일 때조차 천체측위 및 광도 측정 정확도에 거의 영향을 주지 않으면서도 높은 압축 성능을 달성한다.

ABSTRACT

This document describes a convention for compressing n-dimensional images and storing the resulting byte stream in a variable-length column in a FITS binary table. The FITS file structure outlined here is independent of the specific data compression algorithm that is used. The implementation details for 4 widely used compression algorithms are described here, but any other compression technique could also be supported by this convention. The general principle used in this convention is to first divide the n-dimensional image into a rectangular grid of subimages or 'tiles'. Each tile is then compressed as a block of data, and the resulting compressed byte stream is stored in a row of a variable length column in a FITS binary table. By dividing the image into tiles it is generally possible to extract and uncompress subsections of the image without having to uncompress the whole image.

연구 동기 및 목표

• 디지타이징된 사진 천체도판과 같이 매우 큰 천문학적 이미지 데이터셋을 실용적으로 배포할 수 없는 문제를 해결하기 위해.
• FITS 형식 내에서 n차원 이미지의 손실 및 비손실 압축을 위한 표준화되고 유연한 방법을 개발하기 위해.
• 전체 이미지를 해제하지 않고도 압축된 이미지 타일에 대한 효율적인 무작위 액세스를 가능하게 하기 위해.
• 압축 과정 동안 핵심 이미지 메타데이터 및 월드 좌표계 정보를 그대로 유지하기 위해.
• 압축이 천문학적 데이터의 천체측위 및 광도 측정에 미치는 영향을 평가하기 위해.

제안 방법

• 이미지를 각 차원에 따라 직사각형 타일로 나누며, 타일 크기를 정의하기 위해 ZTILEn 키워드를 사용하고, 타일은 FITS 이진 테이블의 별도 행으로 저장된다.
• 각 타일은 선택된 알고리즘(GZIP, RICE, HCOMPRESS 등)을 사용해 독립적으로 압축되며, 압축된 데이터는 COMPRESSED_DATA라는 가변 길이 컬럼에 저장된다.
• ZCMPTYPE 키워드를 통해 여러 압축 알고리즘을 지원하며, ZNAMEn 및 ZVALn 키워드를 통해 표준화된 매개변수 처리를 수행한다.
• 원본 FITS 이미지의 메타데이터, 예를 들어 BSCALE, BZERO 및 월드 좌표계 매개변수와 같은 키워드는 압축 헤더에 그대로 유지된다.
• 손실 압축의 경우, 이미지에 H-변환을 적용한 후 비트플레인에 대해 4분할 트리 인코딩을 수행하여 높은 압축률을 달성하면서도 시각적 손실을 최소화한다.
• 타일링 구조 덕분에 점진적 해제가 가능하여, 필요한 타일만 해제하면 되므로 특정 이미지 영역에 빠르게 액세스할 수 있다.

실험 결과

연구 질문

• RQ1 표준화되고 확장 가능한 규약을 설계하여 FITS 이진 테이블에 압축된 n차원 이미지를 저장하면서도 메타데이터를 유지하고 무작위 액세스를 가능하게 할 수 있는가?
• RQ2 이미지 압축이 천문학적 데이터의 천체측위 및 광도 측정 정확도에 어느 정도 영향을 미치는가?
• RQ3 타일 기반 압축 방법은 과학적 분석에서 이미지 무결성을 유지하면서 파일 크기를 얼마나 효과적으로 줄일 수 있는가?
• RQ4 H-변환과 4분할 트리 인코딩을 활용한 손실 압축 기법이 점원형 및 확산원형 천체 모두에 대해 광도 측정 정확도를 유지할 수 있는가?
• RQ5 다양한 코딩 방법(예: 4분할 트리 대비 산술 인코딩)에 대해 압축 효율성과 계산 비용 간의 성능 트레이드오프는 어떠한가?

주요 결과

• 타일 기반 압축 규약은 필요로 하는 타일만 해제하면 전체 데이터셋을 처리하지 않아도 되므로, 압축된 이미지의 효율적 저장과 무작위 액세스를 가능하게 한다.
• CCD 이미지에 대해 손실 없는 압축 비율 3~30을 달성했으며, 독독성 노이즈가 낮은 이미지일수록 더 높은 압축률을 기대할 수 있다.
• 압축 비율이 최대 10일 때조차 점원형 및 확산원형 천체의 광도 측정 정확도가 매우 높게 유지되며, H-변환에서의 적응형 필터링 덕분에 향상 가능성이 있다.
• 압축 비율이 20 이하일 땐 천체측위 정확도에 거의 영향을 주지 않지만, 더 높은 압축 수준에서는 특히 매우 압축된 이미지에서 정확도가 저하되기 시작한다.
• H-변환 압축 후 비트플레인에 대해 4분할 트리 인코딩을 적용하면 파일 크기를 약 10% 감소시키며 계산 비용은 낮게 유지되며, 직접 산술 인코딩보다 효율성이 뛰어나다.
• 이 방법을 통해 기존에는 실현 불가능했던 대용량 데이터셋(예: 가이드 스타 카탈로그)을 관리 가능한 수의 CD-ROM(~100장, 10배 압축 기준)에 배포할 수 있게 되어, 이전에는 불가능했던 데이터 배포를 실현 가능하게 하였다.