[論文レビュー] SAMScore: A Content Structural Similarity Metric for Image Translation Evaluation

Yunxiang Li, Meixu Chen+4 more|arXiv (Cornell University)|May 24, 2023

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

SAMScoreは、画像翻訳の評価指標として、セグメンテーション・アームド・アモーリティ・モデル（SAM）を活用して、元画像と翻訳画像の間の意味的構造的類似度を測定する新規な指標である。SAMでエンコードされた埋め込みの空間的コサイン類似度を計算することで、19の多様な画像翻訳タスクにおいて、従来の指標を上回り、高レベルの意味的構造を保持する際の忠実性評価の優れた耐性と正確性を示している。

ABSTRACT

Image translation has wide applications, such as style transfer and modality conversion, usually aiming to generate images having both high degrees of realism and faithfulness. These problems remain difficult, especially when it is important to preserve content structures. Traditional image-level similarity metrics are of limited use, since the content structures of an image are high-level, and not strongly governed by pixel-wise faithfulness to an original image. To fill this gap, we introduce SAMScore, a generic content structural similarity metric for evaluating the faithfulness of image translation models. SAMScore is based on the recent high-performance Segment Anything Model (SAM), which allows content similarity comparisons with standout accuracy. We applied SAMScore on 19 image translation tasks, and found that it is able to outperform all other competitive metrics on all tasks. We envision that SAMScore will prove to be a valuable tool that will help to drive the vibrant field of image translation, by allowing for more precise evaluations of new and evolving translation models. The code is available at https://github.com/Kent0n-Li/SAMScore.

研究の動機と目的

• 画像翻訳における意味的構造的忠実性を評価するための汎用的指標の欠如に対処すること。
• L2、PSNR、SSIM、LPIPSといった従来の指標が、高レベルの意味的コンテンツを捉えられていないという限界を克服すること。
• 微調整やアノテート済みラベルを必要としないゼロショットセグメンテーションモデルを用いることで、FCNScoreに内在するドメインギャップとラベル依存性の問題を軽減すること。
• 多様な画像翻訳タスクに適用可能な普遍的で、耐性があり、スケーラブルな評価指標を開発すること。
• 意味的構造の保存に焦点を当てることで、画像翻訳モデルのベンチマークをより正確に可能にすること。

提案手法

• 事前学習済みのセグメンテーション・アームド・アモーリティ・モデル（SAM）を用いて、元画像および翻訳画像からの意味的埋め込みをエンコードする。
• 2つの画像間の対応する埋め込み特徴量の空間的コサイン類似度を計算し、類似度スコアを生成する。
• 微調整やアノテート済みラベルを一切必要としない、SAMのゼロショットセグメンテーション機能を活用する。
• 空間的特徴マップ全体にわたる類似度スコアを集約し、単一のSAMScore値を生成する。
• 多様な画像翻訳タスクにおける一貫性のある比較を可能にするために、スコアを[0,1]に標準化する。
• スタイル変換、モダリティ変換、ドメイン適応を含む19の多様な画像翻訳タスクで性能を検証する。

Figure 1: Overview of SAMScore. Source and generated images are separately input to the SAM encoder to obtain embeddings of the semantic structures, then a spatial cosine similarity score is calculated, yielding the final SAMScore.

実験結果

リサーチクエスチョン

• RQ1 ゼロショットでセグメンテーションに基づく指標は、従来のピクセルレベルや知覚的指標よりも、画像翻訳における意味的忠実性の評価で優れているか？
• RQ2 ガウスノイズやアフィン変形といった画像劣化に対して、SAMScoreはFCNScoreに比べてどれほど耐性があるか？
• RQ3 ドメインギャップが異なる多様な画像翻訳タスクにおいて、SAMScoreは高い性能を維持するか？
• RQ4 ピクセルレベルの類似度ではなく、意味的構造に基づいて、忠実な翻訳と不忠実な翻訳を効果的に区別できるか？
• RQ5 構造的忠実性を捉える点で、LPIPS や FCNScore に比べて SAMScore はどのように優れているか？

主な発見

• SAMScoreは、19の画像翻訳タスクすべてで、L2、PSNR、SSIM、LPIPS、FCNScoreを含むすべての競合指標を上回った。
• シティスケープ（ラベルから写真）タスクでは、SAMScoreが0.7624を達成し、ピクセル単位の正確性でFCNScoreの0.5055を著しく上回った。
• ガウスノイズ劣化下でも安定しており、ノイズレベル250で0.7624から0.7574にわずかに低下した一方、FCNScoreは0.5055から0.4402に低下した。
• ピecewiseアフィン変形下では、SAMScoreは0.7624から0.7091に徐々に低下し、構造的歪みに対して一貫した感受性を示した。
• 頭部（MRからCT）翻訳タスクでは、SAMScoreが0.8861を達成し、LPIPS や FCNScore よりも高い忠実度スコアを示した。
• フォトからモノ・フォトからバン・ゴッホへのタスクにおいて、SAMScoreは構造的摂動下でも高いスコア（それぞれ0.9054および0.8510）を維持し、優れた耐性を示した。

Figure 2: Similarity scores between the original images and CycleGAN-generated images with varying degrees of deformation. (A) horse to zebra, (B) orange to apple, (C) cityscapes (label to photo), (D) head (MR to CT), (E) photo to Ukiyoe, and (F) photo to Monet. Column 2 shows the results without ad