[논문 리뷰] SAMScore: A Content Structural Similarity Metric for Image Translation Evaluation

Yunxiang Li, Meixu Chen외 4명|arXiv (Cornell University)|2023. 05. 24.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

SAMScore는 이미지 번역 평가 지표로서 세그먼테이션 어芮블 모델(SAM)을 활용하여 원본 이미지와 번역된 이미지 간의 의미적 구조 유사도를 측정한다. SAM에 의해 인코딩된 임베딩의 공간적余弦 유사도를 계산함으로써, 19개의 다양한 이미지 번역 작업 전반에서 기존 지표들을 능가하며, 높은 수준의 의미적 구조를 유지하는 데 있어 뛰어난 강건성과 충실도 평가 능력을 입증한다.

ABSTRACT

Image translation has wide applications, such as style transfer and modality conversion, usually aiming to generate images having both high degrees of realism and faithfulness. These problems remain difficult, especially when it is important to preserve content structures. Traditional image-level similarity metrics are of limited use, since the content structures of an image are high-level, and not strongly governed by pixel-wise faithfulness to an original image. To fill this gap, we introduce SAMScore, a generic content structural similarity metric for evaluating the faithfulness of image translation models. SAMScore is based on the recent high-performance Segment Anything Model (SAM), which allows content similarity comparisons with standout accuracy. We applied SAMScore on 19 image translation tasks, and found that it is able to outperform all other competitive metrics on all tasks. We envision that SAMScore will prove to be a valuable tool that will help to drive the vibrant field of image translation, by allowing for more precise evaluations of new and evolving translation models. The code is available at https://github.com/Kent0n-Li/SAMScore.

연구 동기 및 목표

• 이미지 번역에서 의미적 구조적 충실도를 평가하기 위한 일반 목적의 지표 부족 문제를 해결하기 위해.
• L2, PSNR, SSIM, LPIPS와 같은 전통적 지표들이 높은 수준의 의미적 내용을 포착하지 못하는 한계를 극복하기 위해.
• FCNScore에서 기인하는 도메인 갭과 레이블 의존성 문제를 제거하기 위해, 제로샷 세그먼테이션 모델을 사용하기 위해.
• 다양한 이미지 번역 작업에 적용 가능한 통합적이고 강건하며 확장 가능한 평가 지표를 개발하기 위해.
• 의미적 구조 유지에 중점을 두어, 이미지 번역 모델의 보다 정밀한 벤치마킹을 가능하게 하기 위해.

제안 방법

• 사전 학습된 세그먼테이션 어芮블 모델(SAM)을 사용하여 원본 이미지와 번역된 이미지의 의미 임베딩을 인코딩한다.
• 두 이미지 간의 대응되는 임베딩 특징 간의 공간적余근 유사도를 계산하여 유사도 점수를 생성한다.
• 세분화 학습이나 레이블이 필요 없는, SAM의 제로샷 세그먼테이션 기능을 적용한다.
• 공간적 특징 맵 전반에 걸쳐 유사도 점수를 집계하여 단일 SAMScore 값을 생성한다.
• 다양한 이미지 번역 작업 간 일관된 비교를 위해 점수를 [0,1]로 표준화한다.
• 스틸 테이스트, 모달리티 번역, 도메인 적응을 포함한 19개의 다양한 이미지 번역 작업에서 성능을 검증한다.

Figure 1: Overview of SAMScore. Source and generated images are separately input to the SAM encoder to obtain embeddings of the semantic structures, then a spatial cosine similarity score is calculated, yielding the final SAMScore.

실험 결과

연구 질문

• RQ1 제로샷, 세그먼테이션 기반 지표가 기존의 픽셀 수준 및 인지적 지표보다 이미지 번역에서 의미적 충실도 평가에 뛰어나게 성능을 냈을 수 있는가?
• RQ2 Gaussian 노이즈 및 애핀 변형과 같은 이미지 손상 상황에서 SAMScore는 FCNScore에 비해 얼마나 강건한가?
• RQ3 다양한 도메인 갭을 가진 다양한 이미지 번역 작업 전반에서 SAMScore는 높은 성능을 유지하는가?
• RQ4 SAMScore는 픽셀 수준의 유사도가 아닌 의미적 구조에 기반하여 충실한 번역과 비충실한 번역을 효과적으로 구분할 수 있는가?
• RQ5 구조적 충실도를 캡처하는 데 있어 SAMScore는 LPIPS 및 FCNScore와 같은 최첨단 지표에 비해 어떻게 비교되는가?

주요 결과

• SAMScore는 L2, PSNR, SSIM, LPIPS, FCNScore를 포함한 모든 경쟁 지표를 19개의 이미지 번역 작업 전반에서 능가했다.
• 시티스케이프(레이블에서 사진으로) 작업에서 SAMScore는 0.7624의 점수를 기록했으며, 픽셀 수준 정확도에서 FCNScore의 0.5055보다 뚜렷하게 높았다.
• Gaussian 노이즈 손상 상황에서 SAMScore는 250의 노이즈 수준에서 0.7624에서 0.7574로 약간 감소했지만, FCNScore는 0.5055에서 0.4402로 감소하여 더 높은 안정성을 보였다.
• 조각별 애핀 변형 상황에서 SAMScore는 0.7624에서 0.7091로 점진적으로 감소했으며, 이는 구조적 왜곡에 대해 일관된 민감도를 보였다.
• 머터널에서 CT로의 번역 작업에서 SAMScore는 0.8861을 기록했으며, LPIPS 및 FCNScore보다 더 높은 충실도 점수를 기록했다.
• 사진에서 모네이스터로, 사진에서 반 고흐로의 번역 작업에서 SAMScore는 각각 0.9054와 0.8510의 높은 점수를 유지했으며, 구조적 왜곡 상황에서도 뛰어난 강건성을 보였다.

Figure 2: Similarity scores between the original images and CycleGAN-generated images with varying degrees of deformation. (A) horse to zebra, (B) orange to apple, (C) cityscapes (label to photo), (D) head (MR to CT), (E) photo to Ukiyoe, and (F) photo to Monet. Column 2 shows the results without ad