[論文レビュー] On Buggy Resizing Libraries and Surprising Subtleties in FID Calculation

Gaurav Parmar, Richard Zhang+1 more|arXiv (Cornell University)|Apr 22, 2021

Generative Adversarial Networks and Image Synthesis参考文献 52被引用数 38

ひとこと要約

この論文は、人気のあるディープラーニングライブラリにおける画像リサイズの不整合な実装が、Fréchet Inception Distance (FID) スコアに顕著に影響することを調査しており、リサイズライブラリ、補間カーネル、画像エンコードの選択がスコアに大きなばらつきをもたらすことを明らかにしている。著者らは主な落とし穴を特定し、明確な推奨事項を提示し、正確で一貫性のある生成モデルの評価を保証するための最適化され、再現可能なFID実装を公開している。

ABSTRACT

We investigate the sensitivity of the Fr\'echet Inception Distance (FID) score to inconsistent and often incorrect implementations across different image processing libraries. FID score is widely used to evaluate generative models, but each FID implementation uses a different low-level image processing process. Image resizing functions in commonly-used deep learning libraries often introduce aliasing artifacts. We observe that numerous subtle choices need to be made for FID calculation and a lack of consistencies in these choices can lead to vastly different FID scores. In particular, we show that the following choices are significant: (1) selecting what image resizing library to use, (2) choosing what interpolation kernel to use, (3) what encoding to use when representing images. We additionally outline numerous common pitfalls that should be avoided and provide recommendations for computing the FID score accurately. We provide an easy-to-use optimized implementation of our proposed recommendations in the accompanying code.

研究の動機と目的

• 異なるディープラーニングライブラリにおける低レベルの画像処理の不整合がFIDスコアに与える感受性を調査すること。
• 特にアーティファクト（アーリアシング）を引き起こすリサイズ実装の違いが、FIDスコアの信頼性に与える影響を特定すること。
• リサイズライブラリ、補間カーネル、画像エンコードの選択がFID計算に与える重要性を強調すること。
• 生成モデル評価において誤解を招くか、一貫性のないFIDスコアを生じさせる一般的な実装上の落とし穴を暴露すること。
• 研究と実践の両方で再現可能性と公平性を保証するための標準化され、正確で最適化されたFID実装を提供すること。

提案手法

• 同じモデルとデータセット入力を用いて、複数の画像リサイズライブラリ（例：OpenCV、PIL、Torchvision）を体系的に評価し、FIDスコアを測定する。
• 制御された条件下で、異なる補間カーネル（例：双線形、双三次、Lanczos）の間でFIDスコアを比較する。
• 画像エンコード形式（例：RGB対RGBA、8ビット対16ビット）がFID計算に与える影響を評価する。
• 特にアンチアリアシングされていないカーネルを使用した際のリサイズに伴うアーリアシングアーティファクトがFIDスコアに与える影響を測定する。
• 標準化されたリサイズ、カーネル、エンコード選択を実装し、一貫性のある結果を得るための推奨されるFIDパイプラインを構築・検証する。
• 推奨される実装手法を強制する、プロダクション運用に適した最適化されたコードベースを公開する。

実験結果

リサーチクエスチョン

• RQ1 同じ生成モデルを評価する際、異なる画像リサイズライブラリがFIDスコアにどのように影響するか？
• RQ2 補間カーネルの選択（例：双線形対双三次）がFIDスコアにどの程度影響を及えるか？
• RQ3 画像エンコード形式（例：RGB 対 RGBA、8ビット 対 16ビット）がFIDスコアの一貫性にどのように影響するか？
• RQ4 不適切なリサイズによって生じるアーリアシングアーティファクトがFIDスコアを歪める役割を果たすか？
• RQ5 実装のばらつきを最小限に抑えるために、標準化され、再現可能なFID計算パイプラインはどのようなものか？

主な発見

• 同じ生成モデルに対して、同じモデルとデータセット入力でも、異なるリサイズライブラリが顕著に異なるFIDスコアを生じる。
• 補間カーネルの選択、特にアンチアリアシングされていないもの（例：双線形）がアーリアシングアーティファクトを引き起こし、FIDスコアを歪める。
• RGBA対RGBやビット深度（8ビット対16ビット）といった画像エンコード形式の違いが、ピクセル表現の違いによりFID値に顕著な影響を与える。
• リサイズ実装の不一致により、異なるライブラリや設定間でFIDスコアに10ポイント以上ものばらつきが生じる。
• アンチアリアシングされたリサイズを用い、カーネルとエンコードを一貫させる提案された標準化パイプラインは、実験全体にわたって安定的で再現可能なFIDスコアを生成する。