[논문 리뷰] On the Evaluation of Conditional GANs

Terrance DeVries, Adriana Romero외 3명|arXiv (Cornell University)|2019. 07. 11.

Generative Adversarial Networks and Image Synthesis참고 문헌 67인용 수 31

한 줄 요약

이 논문은 생성된 이미지와 그 조건 입력의 연합 분포 사이의 프레셰 거리(Fréchet distance)를 계산하여 조건부 GAN을 평가하는 새로운 지표인 프레셰 연합 거리(Fréchet Joint Distance, FJD)를 제안한다. FJD는 단일 지표로서 이미지 품질, 조건부 일致성, 조건 내 다양성을 동시에 측정하며, 기존의 FID나 IS와 같은 벤치마크보다 다양한 조건 유형(예: 클래스 레이블, 경계 상자, 마스크, 텍스트 등)에서 세 가지 핵심 성질을 더 잘 반영한다.

ABSTRACT

Conditional Generative Adversarial Networks (cGANs) are finding increasingly widespread use in many application domains. Despite outstanding progress, quantitative evaluation of such models often involves multiple distinct metrics to assess different desirable properties, such as image quality, conditional consistency, and intra-conditioning diversity. In this setting, model benchmarking becomes a challenge, as each metric may indicate a different "best" model. In this paper, we propose the Frechet Joint Distance (FJD), which is defined as the Frechet distance between joint distributions of images and conditioning, allowing it to implicitly capture the aforementioned properties in a single metric. We conduct proof-of-concept experiments on a controllable synthetic dataset, which consistently highlight the benefits of FJD when compared to currently established metrics. Moreover, we use the newly introduced metric to compare existing cGAN-based models for a variety of conditioning modalities (e.g. class labels, object masks, bounding boxes, images, and text captions). We show that FJD can be used as a promising single metric for cGAN benchmarking and model selection. Code can be found at https://github.com/facebookresearch/fjd.

연구 동기 및 목표

• 조건부 GAN을 평가하는 데 있어 현재는 이미지 품질, 조건부 일치성, 조건 내 다양성에 대해 별개의 지표를 사용하고 있기 때문에 이러한 과제를 해결하기 위해.
• 외부 모델이나 사전 학습된 검출기 없이도 세 가지 핵심 성질을 암묵적으로 모두 포괄하는 단일 통합 지표를 개발하기 위해.
• 클래스 레이블, 경계 상자, 객체 마스크, 텍스트 캡션 등 다양한 조건 유형에서 FJD의 효과를 평가하기 위해.
• 이미지 품질과 다양성 사이의 트레이드오���을 해결함으로써 FJD가 더 신뢰할 수 있는 모델 선택 및 하이퍼파rameter 튜닝을 가능하게 함을 보여주기 위해.
• 기존 지표에 비해 계산 비용이 적고 FID에 비해 최소한의 오버헤드를 가지는 계산적으로 효율적인 대안을 제공하기 위해.

제안 방법

• FJD는 생성된 이미지와 그 조건 입력의 연합 분포 사이의 프레셰 거리를 계산하여 작동하며, 깊은 신경망을 사용해 둘 다 공통 잠재 공간에 매핑한다.
• 이 방법은 이미지와 조건 입력을 공통 잠재 공간으로 매핑하기 위해 사전 학습된 특징 추출기(예: 팽창된 인셉션 네트워크)를 사용하며, 여기서 프레셰 거리를 계산한다.
• 경계 상자나 마스크와 같은 조건 입력의 경우, 구조적 정보를 유지하기 위해 공간에 민감한 임bedding 기법(예: 오토인코더 표현)을 적용한다.
• 클래스 레이블의 경우, 원핫 또는 n-핫 인코딩을 조건 입력 임베딩으로 사용한 후 이를 공통 공간으로 투영한다.
• 이 지표는 이미지 수준, 공간적, 순차적(예: 텍스트) 조건을 포함한 어떤 종류의 조건 입력에도 호환 가능하도록 설계되었다.
• FJD는 FID와 동일한 깊이 신경망 특징 추출기를 사용하므로 계산 오버헤드가 낮고 기존 평가 파이프라인과 호환된다.

실험 결과

연구 질문

• RQ1 단일 지표가 조건부 GAN의 이미지 품질, 조건부 일치성, 조건 내 다양성과 같은 다수의 바람직한 성질을 동시에 효과적으로 평가할 수 있는가?
• RQ2 기존의 FID나 인셉션 스코어와 비교해 FJD는 조건부 생성 성능의 전반적인 스펙트럼을 얼마나 잘 반영하는가?
• RQ3 FJD는 클래스 레이블, 경계 상자, 마스크, 텍스트와 같은 다양한 조건 유형에서 일관되고 신뢰할 수 있는 행동을 보여주는가?
• RQ4 이미지 품질과 다양성 사이의 트레이드오프가 존재할 때 FJD를 사용해 최적의 하이퍼파rameter를 식별하고 가장 우수한 성능을 보이는 모델을 선별할 수 있는가?
• RQ5 FJD는 실세계의 cGAN 모델 벤치마킹에 대해 계산적으로 실현 가능하고 확장 가능한가?

주요 결과

• FID나 인셉션 스코어와 달리 FJD는 단일 지표로서 이미지 품질, 조건부 일치성, 조건 내 다양성을 모두 성공적으로 반영한다.
• dSprites 데이터셋에서 FJD는 예상된 행동에 따라 모델을 일관되게 순위 매기며, 낮은 FJD 값일수록 세 성질 모두에서 더 우수한 성능을 의미한다.
• COCO-Stuff 데이터셋에서 마스크 조건 모델은 가장 낮은 FJD 점수(64×64 기준 49.44 ± 2.46)를 기록했고, 이는 마스크 조건 생성에서 더 높은 조건부 일치성 또는 다양성을 의미한다. 이어 다중 레이블(57.35 ± 1.60), 경계 상자(67.97 ± 1.70) 순이었다.
• FID 값은 조건 유형에 관계없이 비교적 안정되어 있었으며(64×64 기준 40.75에서 41.81 사이), 이는 FID가 조건 행동의 의미 있는 차이를 구분하지 못함을 시사한다.
• 128×128 해상도에서 FJD는 조건 유형에 더 민감하게 반응했으며, 마스크 조건이 다시 가장 낮은 점수(68.12 ± 1.33)를 기록하여 고해상도에서의 미세한 성능 차이를 감지할 수 있음을 보여주었다.
• FJD는 정성적 인간 평가와 강한 상관관계를 보였으며, 이는 FJD가 인간의 조건부 생성 품질 인식과 잘 일치함을 시사한다.