[논문 리뷰] HYPE: Human eYe Perceptual Evaluation of Generative Models

Sharon Zhou, Mitchell Gordon외 4명|arXiv (Cornell University)|2019. 03. 27.

Generative Adversarial Networks and Image Synthesis인용 수 9

한 줄 요약

HYPE는 통제된 조건 하에서 시각적 현실감을 신뢰성 있게 측정할 수 있도록 심리물리학에 기반한 표준화된 인간 평가 기준을 도입한다. 이는 다양한 모델과 데이터셋에서 일관되고 비용 효율적인 이미지 생성 품질 평가를 가능하게 하며, 두 가지 유형으로 구성된다: 하나는 적응형 시간 임계값(예: 250ms)에서 진짜처럼 보이는지 테스트하고, 다른 하나는 시간 압박 없이 인간의 실수율을 측정한다. 두 경우 모두 높은 재현성과 모델 향상에 대한 민감성을 보였다.

ABSTRACT

Generative models often use human evaluations to measure the perceived quality of their outputs. Automated metrics are noisy indirect proxies, because they rely on heuristics or pretrained embeddings. However, up until now, direct human evaluation strategies have been ad-hoc, neither standardized nor validated. Our work establishes a gold standard human benchmark for generative realism. We construct Human eYe Perceptual Evaluation (HYPE) a human benchmark that is (1) grounded in psychophysics research in perception, (2) reliable across different sets of randomly sampled outputs from a model, (3) able to produce separable model performances, and (4) efficient in cost and time. We introduce two variants: one that measures visual perception under adaptive time constraints to determine the threshold at which a model's outputs appear real (e.g. 250ms), and the other a less expensive variant that measures human error rate on fake and real images sans time constraints. We test HYPE across six state-of-the-art generative adversarial networks and two sampling techniques on conditional and unconditional image generation using four datasets: CelebA, FFHQ, CIFAR-10, and ImageNet. We find that HYPE can track model improvements across training epochs, and we confirm via bootstrap sampling that HYPE rankings are consistent and replicable.

연구 동기 및 목표

• 생성 모델 연구 분야에서 표준화되고 검증된 인간 평가의 부재를 해결하기 위해.
• 심리물리학에 기반한 기준을 마련하여 인지 평가의 신뢰성과 일관성을 향상시키기 위해.
• 훈련 에포크 동안의 모델 성능 향상을 추적할 수 있는 효율적이고 확장 가능한 인간 평가를 가능하게 하기 위해.
• 조건부 및 무조건적 생성을 포함한 다양한 데이터셋과 모델 아키텍처에서 기준의 유효성을 검증하기 위해.
• 사람의 인지 기반으로 분리 가능하고 재현 가능한 생성 모델 순위를 도출하기 위해.

제안 방법

• 인지 임계값과 반응 일관성을 기반으로 한 심리물리학 기반 인간 평가 프레임워크인 HYPE를 설계한다.
• 두 가지 변형을 구현한다: 하나는 생성된 이미지가 실제로 보이기 시작하는 최소 시간(예: 250ms)을 측정하기 위해 적응형 시간 제약을 적용하고, 다른 하나는 시간 제약 없이 진짜 이미지와 가짜 이미지 간의 인간 실수율을 평가한다.
• 다양한 출력 세트에 대한 신뢰성 테스트를 위해 모델 출력을 무작위로 샘플링한다.
• 부트스트랩 샘플링을 적용하여 HYPE 순위의 일관성과 재현 가능성을 검증한다.
• CelebA, FFHQ, CIFAR-10, ImageNet에서 최신 SOTA GAN 6종과 두 가지 샘플링 기법을 대상으로 평가를 수행한다.
• 주관적 편향을 최소화하기 위해 기존 인지 연구 원칙에 부합하는 방법론적 엄밀함을 확보한다.

실험 결과

연구 질문

• RQ1 다양한 생성 모델에 걸쳐 표준화된 인간 평가 프레임워크가 진짜 이미지와 생성된 이미지를 신뢰성 있게 구분할 수 있는가?
• RQ2 HYPE는 다양한 훈련 에포크와 데이터셋에서 모델 성능에 대한 일관되고 재현 가능한 순위를 제공하는가?
• RQ3 시간 제약이 생성 모델의 이미지 현실감에 대한 인간의 인지에 어떤 영향을 미치는가?
• RQ4 HYPE는 훈련 과정에서의 점진적 모델 향상 정도를 어느 정도 감지할 수 있는가?
• RQ5 HYPE는 모델 개발 및 비교에 실용적으로 사용하기에 충분히 효율적이고 확장 가능한가?

주요 결과

• HYPE는 높은 성능 변화 민감도를 바탕으로 훈련 에포크 전반에 걸친 모델 향상을 효과적으로 추적한다.
• 부트스트랩 샘플링을 통한 검증을 통해 다수의 평가에서 일관되고 재현 가능한 순위를 도출한다.
• 시간 제약이 있는 변형은 250ms와 같은 인지 임계값을 식별하여 인간 관찰자가 생성된 이미지를 실제로 보이기 시작하는 시점을 밝혀낸다.
• 실수율 변형은 시간 압박 없이도 신뢰할 수 있는 대안을 제공하며, 모델의 현실감 평가에 효과적이다.
• 모든 테스트된 데이터셋과 모델에서, 조건부 및 무조건적 생성을 포함해 HYPE는 모델 성능의 분리 가능성을 입증한다.
• 자동화된 메트릭보다 직접적이고 신뢰성 있고 검증된 인간 인지 기반 기준을 제공함으로써 HYPE는 생성 모델 평가에서 우월함을 입증한다.