[논문 리뷰] Approximating Human Judgment of Generated Image Quality

Y. Alex Kolchinski, Sharon Zhou외 3명|arXiv (Cornell University)|2019. 11. 30.

Generative Adversarial Networks and Image Synthesis참고 문헌 28인용 수 4

한 줄 요약

이 논문은 Inception-V3 네트워크에서 추출한 딥 페처 임bedding을 인간 레이블의 품질 점수로 회귀시켜 인간이 판단한 이미지의 현실감을 자동으로 예측하는 새로운 방법을 제안한다. 검증 세트에서 66.4%의 정확도를 기록하며 인간 간 일致도와 동일한 수준을 보이며, 다양한 생성 모델 간에 인지적 품질과 강한 일치를 보임을 입증한다.

ABSTRACT

Generative models have made immense progress in recent years, particularly in their ability to generate high quality images. However, that quality has been difficult to evaluate rigorously, with evaluation dominated by heuristic approaches that do not correlate well with human judgment, such as the Inception Score and Fréchet Inception Distance. Real human labels have also been used in evaluation, but are inefficient and expensive to collect for each image. Here, we present a novel method to automatically evaluate images based on their quality as perceived by humans. By not only generating image embeddings from Inception network activations and comparing them to the activations for real images, of which other methods perform a variant, but also regressing the activation statistics to match gold standard human labels, we demonstrate 66% accuracy in predicting human scores of image realism, matching the human inter-rater agreement rate. Our approach also generalizes across generative models, suggesting the potential for capturing a model-agnostic measure of image quality. We open source our dataset of human labels for the advancement of research and techniques in this area.

연구 동기 및 목표

• 생성 모델에서 인간의 이미지 현실감 인식과 관련된 효율적이고 샘플 수준의 메트릭이 부족한 문제를 해결하기 위해.
• 기존의 자동 메트릭인 Inception Score나 FID와 같이 샘플 수준에서 인간 판단과 잘 연관되지 않는 한계를 극복하기 위해.
• 다양한 생성 모델과 데이터셋에 일반화 가능한 모델 독립적 평가 방법을 개발하기 위해.
• 딥 페처 임베딩과 인간이 레이블링한 현실감 점수를 함께 학습시켜 자동 메트릭과 인간 인식 간 격차를 메우기 위해.
• 모든 이미지에 대해 비용이 많이 드는 인간 레이블링을 필요로 하지 않고도 확장 가능하고 신뢰할 수 있는 이미지 품질 평가를 가능하게 하기 위해.

제안 방법

• HYPE 프레임워크를 사용하여 인간의 현실감 판단을 수집하며, 이는 이미지를 이진 실물/가짜 분류 작업으로 제시하여 인지적 현실감을 추정한다.
• ImageNet으로 사전 훈련된 Inception-V3 네트워크에서 일곱 개의 레이어(예: Mixed_5d, Mixed_6e, FC)를 통해 다층 페처 임베딩을 추출한다.
• 각 테스트 이미지에 대해, 그 활성화 맵과 훈련 세트 내 실재 이미지의 활성화 맵 간의 공간적으로 국소화된 최근접 이웃 거리를 계산한다.
• 이 거리를 공간적 위치에 걸쳐 집계하여 각 레이어당 단일 실수값 임베딩을 생성함으로써, 이미지당 다차원 표현을 형성한다.
• 이러한 다층 임베딩을 인간 레이블의 현실감 점수로 매핑하기 위해 회귀 모델을 훈련하며, 페처 유사성과 인간 판단을 모두 지도로 사용한다.
• 최종 모델을 사용하여 인간 인식을 반영하는 샘플 수준의 현실감 점수를 예측하며, 인간 레이블에 대한 분류 정확도로 성능을 평가한다.

실험 결과

연구 질문

• RQ1 딥 페처 임베딩과 인간이 레이블링한 현실감 점수를 함께 학습시킨 딥 러닝 모델이 인간의 이미지 품질 판단을 정확하게 예측할 수 있는가?
• RQ2 제안된 방법이 다양한 생성 모델(예: ProGAN 대비 StyleGAN)과 새로운 데이터 분포에 대해 얼마나 일반화되는가?
• RQ3 모델의 성능이 인간 간 일치도와 이미지 현실감에 대해 얼마나 잘 관련되어 있는가?
• RQ4 FID나 IS와 같이 집단 수준의 메트릭이 아닌 샘플 수준 평가를 통해 인간 인식과 강하게 관련된 성능을 달성할 수 있는가?
• RQ5 페처 기반 유사성과 인간이 레이블링한 점수를 결합함으로써 자동 이미지 품질 메트릭의 예측 능력이 향상되는가?

주요 결과

• 제안된 방법은 동일한 생성 모델(StyleGAN)에서 얻은 검증 세트에서 인간 레이블의 이미지 현실감을 66.4%의 정확도로 정확히 예측하며, 인간 간 일치도의 상한선(65.5%)과 동일한 수준을 보임.
• 다른 생성 모델(ProGAN)에서 유래한 분포 외부 샘플에 대해서는 58.8%의 정확도를 기록하며, 인간 간 일치도(58.9%)와 매우 유사하게 일치함.
• 모델 간 일반화가 가능하여 이미지 품질에 대한 모델 독립적 측정 가능성이 있음.
• 다층 페처 임베딩과 인간 레이블 점수를 결합함으로써 성능이 크게 향상되며, 단순히 페처 통계에 의존하는 방법보다 뛰어남.
• FID나 IS와 달리 샘플 수준의 현실감 점수를 제공함으로써, 집단 수준의 성능 평가가 아닌 개별 이미지 평가가 가능함.
• 저자들은 향후 인간 중심의 이미지 품질 평가 연구를 지원하기 위해 인간 레이블링 데이터셋을 공개함.