[論文レビュー] The Role of ImageNet Classes in Fréchet Inception Distance

Tuomas Kynkäänniemi, Tero Karras+3 more|Aaltodoc (Aalto University)|Mar 11, 2022

Explainable Artificial Intelligence (XAI)被引用数 44

ひとこと要約

この論文は Fréchet Inception Distance (FID) が ImageNet のクラス分布を大きく反映しており、Top-1 または Top-N の ImageNet 予測と一致させるだけで FID を大幅に低下させられるが、画像品質の意味のある改善には繋がらないことを示しており、FID の脆弱性を露呈する。

ABSTRACT

Fréchet Inception Distance (FID) is the primary metric for ranking models in data-driven generative modeling. While remarkably successful, the metric is known to sometimes disagree with human judgement. We investigate a root cause of these discrepancies, and visualize what FID "looks at" in generated images. We show that the feature space that FID is (typically) computed in is so close to the ImageNet classifications that aligning the histograms of Top-$N$ classifications between sets of generated and real images can reduce FID substantially -- without actually improving the quality of results. Thus, we conclude that FID is prone to intentional or accidental distortions. As a practical example of an accidental distortion, we discuss a case where an ImageNet pre-trained FastGAN achieves a FID comparable to StyleGAN2, while being worse in terms of human evaluation.

研究の動機と目的

• FID が時に人間の判断と異なる理由を説明する。
• 生成画像で FID が実際に使用している特徴を可視化する。
• ImageNet クラス分布を一致させることが人工的に FID を低下させるかを検証する。
• ImageNet 事前学習済み識別器の使用が FID の信頼性に与える影響を評価する。

提案手法

• 個々のサンプルで実データ/生成データの特徴統計を拡張して、FID に最も影響を与える画像領域を特定するために Grad-CAM を適用する。
• 事前ロジット、ロジット、複数の分類器バックボーン (Inception-V3, ResNet-50, SwAV, CLIP) を含む特徴空間でのFIDを比較する。
• ImageNet のトップ予測を揃える Top-1 ヒストグラム整合を実施して FID が低下するかを確認する。
• 臨界特徴の整合を近似するようにクラス確率指標を最適化して Top-N ヒストグラム整合へ一般化する。
• 固定された実データ分布の下で FID を最小化するようにサンプリング重みを最適化し、FID の知覚的ヌル空間を分析する。
• FID が注目する領域を示すヒートマップで結果を可視化し、それを ImageNet Top-1 予測と関連づける。

実験結果

リサーチクエスチョン

• RQ1 実データと生成データにおける ImageNet クラスの分布と FID の関係はどのようになっているか？
• RQ2 実際の知覚的改善なしに ImageNet クラス統計を揃えるだけで FID を人工的に低くできるか？
• RQ3 ImageNet 由来の特徴を操作したとき FID の知覚的ヌル空間の大きさはどの程度か？
• RQ4 代替の特徴空間（ResNet-50, SwAV, CLIP）は ImageNet ベースの FID で見られる改善を裏付けるか、あるいは反証するか？
• RQ5 GAN 設定で ImageNet 事前学習済み識別器を使用する場合の FID の信頼性に対する実用的な影響は何か？

主な発見

• FID は ImageNet Top-1 領域に焦点を合わせがちで、しばしば対象領域の外（例：FFHQ の顔など）にある。
• 実データと生成データ間の単純な Top-1 ヒストグラム整合はデータセットを問わず一貫して FID を改善するが、知覚的評価や人間評価の改善を保証しない。
• すべての fringe 特徴を一致させる再サンプリングは FID の大幅な低下を生み、ImageNet 特徴に結びつく実質的な知覚的ヌル空間を示している。
• Top-N ヒストグラム整合は N が大きいほど FID 改善が進むことを示し、トップ ImageNet クラスの共起によって推進される一方、CLIP ベースの FID はほとんど影響を受けず、これはこの改善が ImageNet 事前学習に結びつくことを示唆する。
• 実例は ImageNet 事前学習済み識別器が FID が真の画像品質を信頼性を欠く形で反映する原因となり得ることを示しており、FID が好評でも人間の判断が異なる比較が例として挙げられる。