[論文レビュー] A Data-Informed Local Subspaces Method for Error-Bounded Lossy Compression of Large-Scale Scientific Datasets

Arshan Khan, Rohit Deshmukh+1 more|arXiv (Cornell University)|Jan 27, 2026

Advanced Data Storage Technologies被引用数 0

ひとこと要約

この論文は、大規模科学データの誤差有界の損失圧縮のための不連続データ情報付き局所サブスペース（DLS）を提案し、データ駆動の局所基底を学習しパッチ単位で並列圧縮を適用することで、MGARDおよびSZ3と比較して精度に対する圧縮比を良好に達成します。

ABSTRACT

The growing volume of scientific simulation data presents a significant challenge for storage and transfer. Error-bounded lossy compression has emerged as a critical solution for mitigating these challenges, providing a means to reduce data size while ensuring that reconstructed data remains valid for scientific analysis. In this paper, we present a data-driven scientific data compressor, called Discontinuous Data-informed Local Subspaces (Discontinuous DLS), to improve compression-to-error ratios over data-agnostic compressors. This error-bounded compressor leverages localized spatial and temporal subspaces, informed by the underlying data structure, to enhance compression efficiency and preserve key features. The presented technique is flexible and applicable to a wide range of scientific data, including fluid dynamics, environmental simulations, and other high-dimensional, time-dependent datasets. We describe the core principles of the method and demonstrate its ability to significantly reduce storage requirements without compromising critical data fidelity. The technique is implemented in a distributed computing environment using MPI, and its performance is evaluated against state-of-the-art error-bounded compression methods in terms of compression ratio and reconstruction accuracy. This study highlights discontinuous DLS as a promising approach for large-scale scientific data compression in high-performance computing environments, providing a robust solution for managing the growing data demands of modern scientific simulations.

研究の動機と目的

• ストレージと転送ボトルネックを管理するために、誤差境界付きで大規模科学データセットを圧縮する必要性を動機づける。
• 局所サブスペースを利用して圧縮効率を改善しつつ再構成誤差を制御する、データ駆動の不連続DLS圧縮フレームワークを提案する。
• 分散コンピューティング環境（MPI）でのスケーラビリティと並列化可能性を実証し、最先端の圧縮器MGARDおよびSZ3と比較する。
• 渦流CFDデータにおける基底選択とパッチ設計が圧縮性能と主要流体特徴の忠実度に与える影響を分析する。

提案手法

• ランダムパッチからデータ駆動の局所強化関数をSVDの非縮小で学習し、局所基底Cを形成する。
• パッチ上で高忠実度データをCへ射影し、局所誤差許容 ε_l を満たす最小のDOFの集合を二分探索で選択する。
• グローバルな目標ε_tとパッチ特性からε_lを計算し、誤差有界な再構成を強制する。
• 保持した係数をビットグローミングとgzipで圧縮し、パッチごとの並列解凍を可能にする。
• パッチを独立に再構成し、全体スナップショットへ組み立てて、スケーラブルなHPC展開を実現する。
• MPIとPETScおよびSLEPcを用いて、分散型特徴学習・圧縮・解凍を実装する。

実験結果

リサーチクエスチョン

• RQ1 データ駆動の局所化サブスペースは、大規模科学データセットの誤差有界損失圧縮をどのように改善できるか。
• RQ2 パッチサイズ（粗さ因子）と基底選択が圧縮比と再構成誤差に与える影響は何か。
• RQ3 不連続DLSはCRとNRMSEの観点で、MGARDおよびSZ3と比較して誤差境界の下でどのようになるか。
• RQ4 時間的整合性を、複数の時刻スナップショット間で学習した基底を再利用することによって圧縮効率を高められるか。
• RQ5 提案手法の分散HPC環境におけるスケーラビリティと並列効率はどの程度か。

主な発見

• 不連続-DLSは、目標誤差の範囲で再構成誤差を制御しつつ高い圧縮比を達成する；CRはNRMSEが約0.001から約25へと増加する範囲で10xから1800x超へ変動する。
• 低誤差レベルではMGARDが不連続-DLSを下回ることがあり（例：NRMSE約0.0125で約15xのCR）、より大きな誤差では上回ることがある。SZ3は非常に低い誤差で良好に機能する（NRMSE約0.0125で約22x）一方、誤差が大きくなると他と同程度になる。
• データ適応的SVD基底は、コサイン基底や乱数基底と比較してCRとNRMSEのバランスが最適になる。乱数基底はすべての粗さ因子で性能が低い。
• 不連続-DLSは最初のスナップショットから基底を学習し、以降のスナップショットに適用することで時間的整合性を活用する。MGARD/SZ3はスナップショットを独立に扱うのに対し、DLSはこれを利用する。
• パッチ単位の処理は、HPC環境に適した容易な並列化とスケーラビリティを実現する。局所誤差許容 ε_l はグローバル ε_t から導出され、誤差境界を強制する。