[論文レビュー] On the Evaluation of Conditional GANs

Terrance DeVries, Adriana Romero+3 more|arXiv (Cornell University)|Jul 11, 2019

Generative Adversarial Networks and Image Synthesis参考文献 67被引用数 31

ひとこと要約

本稿では、生成画像とその条件入力の同時分布間のフレシェ距離を計算することで、条件付きGANを評価する新しい指標であるFréchet Joint Distance (FJD) を提案する。FJDは、画像品質、条件付き一貫性、および条件内多様性の3つの特性を一度の指標で同時に捉えることができ、FID や IS といった従来のベンチマークよりも、クラスラベル、バウンディングボックス、マスク、テキストなど多様な条件タイプにおいて、これらの3つの主要な特性をよりよく捉えている。

ABSTRACT

Conditional Generative Adversarial Networks (cGANs) are finding increasingly widespread use in many application domains. Despite outstanding progress, quantitative evaluation of such models often involves multiple distinct metrics to assess different desirable properties, such as image quality, conditional consistency, and intra-conditioning diversity. In this setting, model benchmarking becomes a challenge, as each metric may indicate a different "best" model. In this paper, we propose the Frechet Joint Distance (FJD), which is defined as the Frechet distance between joint distributions of images and conditioning, allowing it to implicitly capture the aforementioned properties in a single metric. We conduct proof-of-concept experiments on a controllable synthetic dataset, which consistently highlight the benefits of FJD when compared to currently established metrics. Moreover, we use the newly introduced metric to compare existing cGAN-based models for a variety of conditioning modalities (e.g. class labels, object masks, bounding boxes, images, and text captions). We show that FJD can be used as a promising single metric for cGAN benchmarking and model selection. Code can be found at https://github.com/facebookresearch/fjd.

研究の動機と目的

• 条件付きGANのベンチマーク手法の課題に対処すること。現在の手法は、画像品質、条件付き一貫性、条件内多様性の3つに対して、別々の指標を用いている。
• 外部モデルや事前学習済み検出器を必要とせず、3つの主要な特性を暗黙的に捉える1つの統合的指標を開発すること。
• FJDの有効性を、クラスラベル、バウンディングボックス、オブジェクトマスク、テキストキャプションなど多様な条件モダリティにおいて評価すること。
• FJDが、画像品質と多様性のトレードオフを解消することで、より信頼性の高いモデル選択やハイパーパramータチューニングを可能にすることを示すこと。
• FID にほぼ同等の計算コストで、既存の評価パイプラインと互換性がある、計算効率の高い代替指標を提供すること。

提案手法

• FJDは、生成画像とその条件入力の同時分布間のフレシェ距離を計算することで、両者の分布の類似度を測定する。この計算には、両者を共通の潜在空間に埋め込むための深層ニューラルネットワークを用いる。
• 本手法は、事前学習済みの特徴抽出器（例：Inflated Inception Network）を用いて、画像と条件入力を共通の埋め込み空間にマップし、その上でフレシェ距離を計算する。
• バウンディングボックスやマスクなどの条件入力に対しては、構造的情報を保持するための空間的に注意を払った埋め込み技術（例：オートエンコーダ表現）を適用する。
• クラスラベルの場合は、ワンホットまたはnホットエンコーディングを用い、それを共通空間に射影する。
• 本指標は、画像レベル、空間的、および順序的（例：テキスト）条件を含む、あらゆる種類の条件入力と互換性を持つように設計されている。
• FJDは、FIDと同一の深層特徴抽出器を用いて計算されるため、計算コストが低く抑えられ、既存の評価パイプラインとも容易に統合可能である。

実験結果

リサーチクエスチョン

• RQ1 1つの指標が、画像品質、条件付き一貫性、条件内多様性という、条件付きGANの望ましい特性を同時に効果的に評価できるか？
• RQ2 FID やインセプションスコアといった既存の指標と比較して、FJDは条件付き生成性能の全範囲をどれほどよく捉えているか？
• RQ3 FJDは、クラスラベル、バウンディングボックス、マスク、テキストなど、多様な条件モダリティにおいて一貫性があり信頼性の高い挙動を示すか？
• RQ4 FJDは、画像品質と多様性のトレードオフが生じる状況において、最適なハイパーパramータや最も優れた性能を示すモデルを特定するために使用できるか？
• RQ5 FJDは、実世界のcGANモデルのベンチマークに応用可能であり、計算的に実行可能でスケーラブルか？

主な発見

• FJDは、FID やインセプションスコアとは異なり、画像品質、条件付き一貫性、条件内多様性の3つを一度の指標で捉えることに成功している。
• dSprites データセットでは、FJDは期待通りの挙動に従ってモデルを順位付けしており、低いFJD値が3つの特性すべてで優れた性能を示している。
• COCO-Stuff データセットでは、マスク条件付きモデルが最も低いFJDスコア（64×64解像度で 49.44 ± 2.46）を記録し、次にマルチラベル（57.35 ± 1.60）、バウンディングボックス（67.97 ± 1.70）の順にスコアが悪化しており、マスク条件付き生成における高い条件付き一貫性または多様性が示されている。
• FIDスコアは条件タイプにかかわらず比較的安定しており（64×64解像度で40.75〜41.81の範囲）、FIDが条件付き挙動の有意義な差を識別できていないことを示している。
• 128×128解像度では、FJDが条件タイプに敏感に反応し、再びマスク条件付きが最も低いスコア（68.12 ± 1.33）を記録しており、FJDが高解像度での微細な性能差を検出できる能力を持っていることが示された。
• FJDは人的な質的評価と強い相関を示しており、FJDが人間の条件付き生成品質の認識とよく一致していることが示された。