[論文レビュー] On Aliased Resizing and Surprising Subtleties in GAN Evaluation

Gaurav Parmar, Richard Zhang+1 more|arXiv (Cornell University)|Apr 22, 2021

Parallel Computing and Optimization Techniques被引用数 13

ひとこと要約

この論文は、GANの評価で一般的に用いられるアンダーサンプリングとJPEG圧縮が、Fréchet Inception Distance (FID) などのメトリクスに顕著で意図しないバイアスをもたらし、一貫性のない誤った比較を引き起こすことを特定している。著者らは、ダウンサンプリング比に応じて事前フィルタ幅を動的に調整し、損失圧縮を回避する標準化された実装であるClean-FIDを提案しており、これらの低レベルの前処理選択がFIDスコアを最大1.5ポイントまで人工的に改善する可能性があることを示している。これにより、モデル評価の公正性が損なわれる。

ABSTRACT

Metrics for evaluating generative models aim to measure the discrepancy between real and generated images. The often-used Frechet Inception Distance (FID) metric, for example, extracts "high-level" features using a deep network from the two sets. However, we find that the differences in "low-level" preprocessing, specifically image resizing and compression, can induce large variations and have unforeseen consequences. For instance, when resizing an image, e.g., with a bilinear or bicubic kernel, signal processing principles mandate adjusting prefilter width depending on the downsampling factor, to antialias to the appropriate bandwidth. However, commonly-used implementations use a fixed-width prefilter, resulting in aliasing artifacts. Such aliasing leads to corruptions in the feature extraction downstream. Next, lossy compression, such as JPEG, is commonly used to reduce the file size of an image. Although designed to minimally degrade the perceptual quality of an image, the operation also produces variations downstream. Furthermore, we show that if compression is used on real training images, FID can actually improve if the generated images are also subsequently compressed. This paper shows that choices in low-level image processing have been an underappreciated aspect of generative modeling. We identify and characterize variations in generative modeling development pipelines, provide recommendations based on signal processing principles, and release a reference implementation to facilitate future comparisons.

研究の動機と目的

• 低レベルの画像処理手順（特にリサイズと圧縮）が、FID、KID、ISなどのGAN評価メトリクスの信頼性に与える影響を調査すること。
• 一般的に使われるライブラリ（例：PyTorch、TensorFlow）がリサイズ時に固定幅の事前フィルタリングを適用することで、アリゼーションアーチファクトが生じ、後続の特徴抽出を損なうことを特定すること。
• 実画像をJPEGで圧縮すると、生成画像も同様に圧縮される場合、モデルが圧縮アーチファクトを学習していないにもかかわらずFIDスコアが人工的に向上する可能性があることを実証すること。
• 公正で再現可能であることを保証するため、信号処理に準拠した標準化された評価パイプラインを提案すること。
• FID計算において正しいアンダーサンプリングと損失圧縮を回避するClean-FIDをリリースすること。

提案手法

• ダウンサンプリング比に応じて事前フィルタ核の幅を動的に調整する信号処理に準拠したリサイズ手法を提案し、アリゼーションを防止すること。
• すべてのリサイズステップ（データ前処理、FID計算、生成画像リサイズ）で正しいアンダーサンプリングを保証するライブラリとしてClean-FIDを実装すること。
• PILなどの標準的な画像処理ライブラリを用い、フィルタ幅を動的に変更するフィルタを適用する一方で、PyTorch や TensorFlow が使用する固定幅のバイリニア／バイキュービックフィルタとは対照的である。
• 実画像および生成画像に対して、さまざまな品質レベルの制御されたJPEG圧縮を施し、FIDおよびKIDスコアへの影響を測定すること。
• 異なるモデルチェックポイントやトレーニングプロトコルを用いたFIDスコアを、アリゼーションありとアンチアリゼーションありのリサイズ法で比較し、モデル選択バイアスを評価すること。
• FFHQ や LSUN などの代表的なデータセットのInception特徴統計を事前に計算・公開し、Clean-FIDを用いた一貫性のある評価を可能にすること。

実験結果

リサーチクエスチョン

• RQ1 固定幅と適応的幅の事前フィルタ幅を有するリサイズ実装の違いが、GAN評価におけるFIDスコアにどのように影響を与えるか？
• RQ2 実画像のトレーニング画像や生成画像をJPEGで圧縮すると、FIDスコアはどの程度変化し、人工的な性能向上を引き起こす可能性があるか？
• RQ3 アリゼーションリサイズの使用は、チェックポイントや手法の比較において、異なるモデル選択結果をもたらす可能性があるか？
• RQ4 GANが低レベルの圧縮アーチファクトを学習しない場合でも、実画像と生成画像の両方が圧縮されると、FIDスコアが誤って向上する可能性があるか？
• RQ5 不一致な前処理（例：圧縮、リサイズ）が、公開済みのGANモデル間でのFIDスコアの比較可能性にどのような影響を与えるか？

主な発見

• PyTorch や TensorFlow で使用される固定幅の事前フィルタリングによるアリゼーションリサイズは、特に高いダウンサンプリング比の際に顕著なアリゼーションアーチファクトを生じさせ、特徴抽出を損なうとともにFIDスコアを歪める。
• ダウンサンプリング比に応じてスケーリングされる適応的フィルタを用いることで、FIDスコアの乖離が低減され、より信頼性の高いメトリクス計算が可能になる。
• 実画像をJPEGで圧縮すると、生成画像も同様に圧縮される場合、FIDスコアが最大1.52ポイント向上する可能性がある。これは、モデルが圧縮アーチファクトを学習していないにもかかわらずの結果である。
• JPEG-75で収集されたLSUN Churchデータセットにおいて、StyleGAN2モデルは生成画像を品質87で圧縮した場合、FIDが3.48にまで低下した（PNGでは4.00）。これは、後処理による人工的なメトリクス向上を示している。
• リサイズ手法の違いはモデル選択に顕著な影響を及ぼす可能性がある。アリゼーションありとアンチアリゼーションありのリサイズを用いることで、最良とされるモデルチェックポイントが異なってくる。
• FIDメトリクスは低レベルの画像処理の詳細に極めて敏感であり、前処理の不一致はモデル間の比較を無効にする。