[論文レビュー] DSSIM: a structural similarity index for floating-point data

Allison H. Baker, Alexander Pinard+1 more|arXiv (Cornell University)|Feb 5, 2022

Data Visualization and Analytics被引用数 15

ひとこと要約

本論文では、画像レンダリングを必要とせず、浮動小数点シミュレーションデータ上で直接動作する、構造的類似度指標（SSIM）の計算効率に優れた代替手法DSSIMを提案する。画像生成を回避することで、SSIMに比べ最大212倍の高速化を達成しながらも、視覚的類似度と強い相関を保ち、気候モデルや同様のHPCワークロードにおける大規模な損失圧縮評価に最適である。

ABSTRACT

Data visualization is a critical component in terms of interacting with floating-point output data from large model simulation codes. Indeed, postprocessing analysis workflows on simulation data often generate a large number of images from the raw data, many of which are then compared to each other or to specified reference images. In this image-comparison scenario, image quality assessment (IQA) measures are quite useful, and the Structural Similarity Index (SSIM) continues to be a popular choice. However, generating large numbers of images can be costly, and plot-specific (but data independent) choices can affect the SSIM value. A natural question is whether we can apply the SSIM directly to the floating-point simulation data and obtain an indication of whether differences in the data are likely to impact a visual assessment, effectively bypassing the creation of a specific set of images from the data. To this end, we propose an alternative to the popular SSIM that can be applied directly to the floating point data, which we refer to as the Data SSIM (DSSIM). While we demonstrate the usefulness of the DSSIM in the context of evaluating differences due to lossy compression on large volumes of simulation data from a popular climate model, the DSSIM may prove useful for many other applications involving simulation or image data.

研究の動機と目的

• 気候モデルにおいて画像レンダリングが必須となるため、大規模なシミュレーションデータ解析におけるSSIMの高い計算コストを解消すること。
• テラバイト〜ペタバイト規模の気候モデル出力における損失圧縮評価において、SSIMの性能ボトルネックを克服すること。
• SSIMが有する視覚的類似度評価能力を保持しつつ、画像レンダリングのオーバーヘッドを排除するため、浮動小数点データ上で直接動作するメトリクスを開発すること。
• カラーマップやスケーリングなどの可視化選択に起因するプロット固有のバイアスを低減し、それらがデータ自体の差異とは無関係にSSIM値に影響を与えるのを防ぐこと。
• 計算効率が極めて重要なHPCワークフローにおいて、スケーラブルかつ自動化されたデータ圧縮品質評価を可能にすること。

提案手法

• SSIMの直接的なアナログとして、ピクセルグリッドではなく浮動小数点配列上で動作するDSSIMを提案し、同じ構造的類似度フレームワークを用いるが、元のデータに適用する。
• 局所統計をスライディングウィンドウを用いて計算することで、浮動小数点データ配列に対して、明るさ、コントラスト、構造の各SSIM要因を直接適用する。
• SSIMと同一の数式（明るさ、コントラスト、構造の測定）を用いるが、レンダリング済み画像ではなく元のデータ上で計算する。
• 既存のデータ比較および圧縮評価パイプラインへの統合を可能にするために、ldcpy PythonパッケージにDSSIMを実装する。
• DSSIMの妥当性を検証するため、画像レンダリング後に計算されたSSIM値と比較し、類似度評価の一貫性を確認する。
• 同一のハードウェアおよびソフトウェアスタックを用いて、実際の気候モデルデータ（CESM-LENS）を対象に、DSSIMとSSIMの計算時間のベンチマークを実施し、性能向上を測定する。

実験結果

リサーチクエスチョン

• RQ1 画像レンダリングを経由せずに浮動小数点データ上で直接類似度を測定するメトリクスは、SSIMが果たす視覚的類似度評価の役割を再現できるか？
• RQ2 画像生成後に適用されたDSSIMとSSIMの類似度評価は、どの程度相関しているか？
• RQ3 大規模なデータ評価ワークフローにおいて、SSIMの代わりにDSSIMを用いることで、どの程度の計算パフォーマンス向上が得られるか？
• RQ4 DSSIMは、カラーマップやスケーリングといったプロット固有の可視化選択がSSIM値に与える影響を低減するか？
• RQ5 DSSIMは、気候モデルのシミュレーションデータにおける損失圧縮の自動評価に、信頼性がありスケーラブルな代替手段として機能できるか？

主な発見

• 気候モデルデータの評価において、DSSIMはSSIMに比べ最大212倍の高速化を達成しており、PRECT変数では7.89秒のSSIM計算がわずか0.0373秒に短縮された。
• DSSIMは、画像レンダリング後に計算されたSSIM値と強く相関しており、視覚的類似度を信頼性高く予測できることを示している。
• 性能向上は異なる変数間で一貫しており、TS変数では145倍、PRECTでは212倍の高速化が観察された。
• カラーマップやスケーリングといったプロット固有の選択がもたらすばらつきをDSSIMは排除しており、それらがデータの差異とは無関係にSSIM値に影響を与えるのを防いでいる。
• 浮動小数点データに適用した場合、MSE や PSNR といった他の一般的なメトリクスよりもDSSIMは計算的に効率が良く、大規模評価に適している。
• DSSIMはldcpyパッケージに正常に統合され、現在は気候モデルワークフローにおける自動的かつスケーラブルな圧縮品質評価に実用的に使用されている。