[論文レビュー] Rarity Score : A New Metric to Evaluate the Uncommonness of Synthesized Images

Jiyeon Han, Hwanil Choi+4 more|arXiv (Cornell University)|Jun 17, 2022

Cell Image Analysis Techniques被引用数 7

ひとこと要約

本稿では、特徴空間における最近傍距離を用いて、実データ多様体内の密度を測定することにより、合成画像の個々のレアリティ（希少性）を評価する新しい指標「レアリティスコア」を提案する。この手法により、生成モデルやデータセットの希少サンプル生成能力を細分化して比較可能となり、FFHQはCelebA-HQよりも希少な顔を含んでおり、LSUN-CatはAFHQ-Catよりも多様性に富んでいることが明らかになった。性能は特徴抽出器の種別によっても変動する。

ABSTRACT

Evaluation metrics in image synthesis play a key role to measure performances of generative models. However, most metrics mainly focus on image fidelity. Existing diversity metrics are derived by comparing distributions, and thus they cannot quantify the diversity or rarity degree of each generated image. In this work, we propose a new evaluation metric, called `rarity score', to measure the individual rarity of each image synthesized by generative models. We first show empirical observation that common samples are close to each other and rare samples are far from each other in nearest-neighbor distances of feature space. We then use our metric to demonstrate that the extent to which different generative models produce rare images can be effectively compared. We also propose a method to compare rarities between datasets that share the same concept such as CelebA-HQ and FFHQ. Finally, we analyze the use of metrics in different designs of feature spaces to better understand the relationship between feature spaces and resulting sparse images. Code will be publicly available online for the research community.

研究の動機と目的

• FID や IS といった従来の指標が捉えきれない、合成画像の個々の希少性を定量化する指標の欠如に応えること。
• 画像品質を損なわず、希少で特徴的なサンプルを生成する能力に基づいて、生成モデル同士を比較可能にすること。
• 例えば CelebA-HQ と FFHQ のような、概念的に類似したデータセット間での希少性を意味的に比較可能にすること。
• VGG16 や ViT、CLIP などの異なる特徴抽出器が、生成画像の希少性の認識にどのように影響するかを調査すること。
• 高品質を維持したまま、望みの希少度レベルの画像をサンプリングできるツールを提供すること。

提案手法

• レアリティスコアは、共有された特徴空間において、生成画像と実画像との最近傍距離（NND）を推定することで計算される。
• 局所的密度を推定するために、実データ多様体上で k-最近傍（k-NN）手法を用い、NND が大きいほど希少な画像とされる。
• 複数のモデルやデータセット間での比較を可能にするために、データセット全体でレアリティスコアを正規化する。
• アーキテクチャ的・学習的差異が希少性の認識に与える影響を評価するため、複数の特徴抽出器（例：VGG16、DINO、CLIP）に跨って指標を適用する。
• データセット間比較のため、2つのデータセットの実データ多様体を統合し、その和集合上でレアリティスコアを計算することで、相対的な希少性を評価する。
• 特定の希少度レベルの画像を、生成済み画像群からスコアに基づいて選別することで、希少画像の標本抽出を可能にする。

実験結果

リサーチクエスチョン

• RQ1 従来の指標が捉えきれない、合成画像の個々の希少性をどのように定量化できるか？
• RQ2 異なる生成モデルはどの程度希少な画像を生成するのか？ そして、それを客観的に測定する方法は？
• RQ3 特徴抽出器の選択が、生成画像の希少性の認識にどのように影響するか？
• RQ4 同じ概念を持つ2つのデータセット（例：CelebA-HQ と FFHQ）を意味的に比較するために、レアリティスコアを用いることは意味があるか？
• RQ5 特徴空間の設計と、スパarselyな希少サンプルを生成する能力の間には、どのような関係があるか？

主な発見

• FFHQ は CelebA-HQ よりも広いレアリティスコアの分布を示しており、より多くの希少な顔を含んでいることが示唆され、これは FFHQ がより多様で一般公開の撮影データから構成されていることに合致する。
• LSUN-Cat は AFHQ-Cat よりもレアリティスコアの多様性が顕著で、AFHQ-Cat がキュレートされたクローズアップ中心の性質ゆえに全体のばらつきが減少していることが確認された。
• VGG16 を用いたレアリティスコアは視覚的パターンやテクスチャを強調し、カラフルな顔の装飾が希少な特徴として特定された。
• DINO を用いたスコアは構造的多様性を強調し、高得点の画像は多様な顔の角度を示しているのに対し、低得点の画像は主に正面顔である。
• CLIP を用いたスコアは、ベビーの顔が共有される意味的性質ゆえに、成人の顔と比較して希少度スコアが低くなる傾向を示した。
• レアリティスコアは、画像品質を損なわず、生成モデルから希少な画像を標本抽出可能にし、クリエイティブな応用に実用的なツールを提供する。