[논문 리뷰] DSSIM: a structural similarity index for floating-point data

Allison H. Baker, Alexander Pinard외 1명|arXiv (Cornell University)|2022. 02. 05.

Data Visualization and Analytics인용 수 15

한 줄 요약

이 논문은 구조적 유사도 지수(SSIM)의 계산 비용을 줄이기 위해 이미지 렌더링이 필요 없이 부동소수점 시뮬레이션 데이터에 직접 작용하는 계산 효율성이 뛰어난 대체 방법인 DSSIM을 제안한다. 이미지 생성 과정을 생략함으로써 DSSIM은 SSIM 대비 최대 212배 빠른 성능을 달성하면서도 시각적 유사성과 강한 상관관계를 유지하여 기후 모델링 및 유사한 HPC 워크로드에서 대규모 손실 압축 평가에 이상적이다.

ABSTRACT

Data visualization is a critical component in terms of interacting with floating-point output data from large model simulation codes. Indeed, postprocessing analysis workflows on simulation data often generate a large number of images from the raw data, many of which are then compared to each other or to specified reference images. In this image-comparison scenario, image quality assessment (IQA) measures are quite useful, and the Structural Similarity Index (SSIM) continues to be a popular choice. However, generating large numbers of images can be costly, and plot-specific (but data independent) choices can affect the SSIM value. A natural question is whether we can apply the SSIM directly to the floating-point simulation data and obtain an indication of whether differences in the data are likely to impact a visual assessment, effectively bypassing the creation of a specific set of images from the data. To this end, we propose an alternative to the popular SSIM that can be applied directly to the floating point data, which we refer to as the Data SSIM (DSSIM). While we demonstrate the usefulness of the DSSIM in the context of evaluating differences due to lossy compression on large volumes of simulation data from a popular climate model, the DSSIM may prove useful for many other applications involving simulation or image data.

연구 동기 및 목표

• 기후 모델링과 같이 이미지 렌더링이 필요로 하는 대규모 시뮬레이션 데이터 분석에서 SSIM을 사용할 경우 발생하는 높은 계산 비용을 해결한다.
• 테라바이트에서 페타바이트 규모의 기후 모델 출력에서 손실 압축을 평가할 때 SSIM의 성능 저하 문제를 해결한다.
• SSIM이 가지는 시각적 유사성 평가 능력을 유지하면서도 이미지 렌더링 오버헤드를 제거하기 위해 부동소수점 데이터에 직접 작용하는 메트릭을 개발한다.
• 색상 맵과 스케일링과 같은 플롯 전용 설정으로 인해 발생하는 SSIM의 편향을 줄인다. 이러한 설정은 기본 데이터와는 무관하게 영향을 미친다.
• 계산 효율성이 핵심인 고성능 컴퓨팅 워크플로우에서 데이터 압축 품질의 스케일러블하고 자동화된 평가를 가능하게 한다.

제안 방법

• SSIM의 직접적 대체자인 DSSIM을 제안하며, 픽셀 격자 대신 부동소수점 배열을 대상으로 작용한다. 동일한 구조적 유사도 프레임워크를 사용하지만 원시 데이터에 적용한다.
• 스ไล딩 윈도우를 기반으로 계산된 局부 통계를 사용하여 부동소수점 배열에 대해 직접 루미너스, 대비, 구조 성분을 적용한다.
• SSIM의 동일한 수학적 공식(루미너스, 대비, 구조 측정)을 사용하지만, 렌더링된 이미지가 아닌 원본 데이터에서 계산한다.
• 기존의 데이터 비교 및 압축 평가 파이프라인에 통합할 수 있도록 DSSIM을 ldcpy 파이썬 패키지에 구현한다.
• 이미지 렌더링 후 SSIM 값과의 비교를 통해 DSSIM의 타당성을 검증하여, 동일한 유사성 평가 결과를 유지하는지 확인한다.
• 동일한 하드웨어 및 소프트웨어 스택을 사용하여 실제 기후 모델 데이터(CESM-LENS)에서 DSSIM과 SSIM의 계산 시간을 벤치마킹하여 성능 향상을 측정한다.

실험 결과

연구 질문

• RQ1 이미지 렌더링 없이도 부동소수점 데이터에 직접 적용되는 메트릭이 SSIM의 시각적 유사성 평가 능력을 그대로 유지할 수 있는가?
• RQ2 이미지 생성 후 동일한 데이터에 대해 DSSIM과 SSIM 간의 상관관계는 어느 정도인가?
• RQ3 대규모 데이터 평가 워크플로우에서 SSIM 대신 DSSIM을 사용할 경우 얼마나 많은 계산 성능 향상을 기대할 수 있는가?
• RQ4 DSSIM은 데이터 차이와 무관하게 SSIM 값에 영향을 미칠 수 있는 플롯 전용 시각화 설정(색상 맵, 스케일링 등)에 민감도를 낮출 수 있는가?
• RQ5 DSSIM은 기후 모델 시뮬레이션 데이터의 손실 압축에 대해 신뢰할 수 있고 스케일러블한 자동 평가 대체 수단이 될 수 있는가?

주요 결과

• 기후 모델 데이터 평가에서 DSSIM은 SSIM 대비 최대 212배의 속도 향상을 달성한다. PRECT 변수의 경우 7.89초 소요되는 SSIM 계산이 단 0.0373초로 단축된다.
• DSSIM은 이미지 렌더링 후 계산된 SSIM 값과 강한 상관관계를 보이며, 이는 DSSIM이 시각적 유사성을 신뢰성 있게 예측할 수 있음을 시사한다.
• 성능 향상은 다양한 변수에서 일관되게 나타나며, TS 변수의 경우 145배, PRECT 변수의 경우 212배의 속도 향상이 관찰되었다.
• 색상 맵과 스케일링과 같은 플롯 전용 설정으로 인해 발생하는 변동성을 DSSIM이 제거하여, 데이터의 차이와 무관하게 SSIM 값이 왜곡되는 것을 방지한다.
• DSSIM은 MSE나 PSNR와 같은 기존 메트릭보다 부동소수점 데이터에 적용했을 때 더 계산 효율적이므로, 대규모 평가에 더 적합하다.
• DSSIM은 성공적으로 ldcpy 패키지에 통합되어 현재 기후 모델링 워크플로우에서 자동화되고 스케일러블한 압축 품질 평가에 실질적으로 활용되고 있다.