[논문 리뷰] How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating and Auditing Generative Models

Ahmed M. Alaa, Boris van Breugel외 2명|arXiv (Cornell University)|2021. 02. 17.

Scientific Computing and Data Management인용 수 34

한 줄 요약

알파-정밀도(alpha-Precision), 베타-재현(beta-Recall), 그리고 Authenticity를 3D 샘플 수준 지표로 도입하여 도메인 전반의 생성 모델의 충실도, 다양성 및 일반화를 평가하고, 모델 감사(use case)도 제시합니다.

ABSTRACT

Devising domain- and model-agnostic evaluation metrics for generative models is an important and as yet unresolved problem. Most existing metrics, which were tailored solely to the image synthesis setup, exhibit a limited capacity for diagnosing the different modes of failure of generative models across broader application domains. In this paper, we introduce a 3-dimensional evaluation metric, ($\\alpha$-Precision, $\\beta$-Recall, Authenticity), that characterizes the fidelity, diversity and generalization performance of any generative model in a domain-agnostic fashion. Our metric unifies statistical divergence measures with precision-recall analysis, enabling sample- and distribution-level diagnoses of model fidelity and diversity. We introduce generalization as an additional, independent dimension (to the fidelity-diversity trade-off) that quantifies the extent to which a model copies training data -- a crucial performance indicator when modeling sensitive data with requirements on privacy. The three metric components correspond to (interpretable) probabilistic quantities, and are estimated via sample-level binary classification. The sample-level nature of our metric inspires a novel use case which we call model auditing, wherein we judge the quality of individual samples generated by a (black-box) model, discarding low-quality samples and hence improving the overall model performance in a post-hoc manner.

연구 동기 및 목표

• 도메인 및 모델에 구애받지 않는 생성 모델 평가 지표를 제시합니다.
• 합성 데이터의 세 가지 품질인 충실도, 다양성 및 일반화를 정량화합니다.
• 샘플 수준 진단 가능성과 새로운 모델 감사(use case)를 통해 합성 데이터 품질을 사후 개선합니다.
• 도메인 간 지표 추정에 유용한 실용적 임베딩 및 가설 테스트 프레임워크를 제공합니다.

제안 방법

• 알파-정밀도를 실제 데이터의 알파-서포트(alpha-support)에 속한 합성 샘플일 확률로 정의합니다.
• 베타-재현을 합성 데이터의 베타-서포트에 속한 실제 샘플일 확률로 정의합니다.
• Authenticity를 합성 샘플이 기억된 훈련 데이터의 복제일 가능성을 넘지 않는 것으로 모형화하고, 노이즈 성분과의 혼합으로 모델링합니다.
• 실제 데이터와 합성 데이터를 모델 기반 평가 임베딩으로 포함시키고, 이를 고차원 구를 매핑하여 알파-와 베타 서브셋을 추정합니다.
• 임베디드 표현에 기반한 정확도, 재현율 및 Authenticity의 샘플 수준 점수를 세 가지 분류기로 추정합니다.
• 품질이 낮은 샘플을 버려 더 높은 품질의 합성 데이터를 큐레이션하는 사후 감사 워크플로우를 제공합니다.

실험 결과

연구 질문

• RQ1 도메인 및 모델에 구애받지 않는 샘플 수준 지표가 생성 모델의 충실도, 다양성 및 일반화를 동시에 포착할 수 있을까요?
• RQ2 알파-정밀도, 베타-재현 및 Authenticity가 전통적인 분포 수준 지표를 넘어 의미 있고 해석 가능한 진단을 제공합니까?
• RQ3 이 지표들을 이용한 모델 감사를 통해 합성 데이터로 학습된 하위 예측 성능이 개선될 수 있나요?
• RQ4 제안된 지표들이 실제 민감 데이터 사례(예: 임상 COVID-19 데이터)와 MNIST 같은 다중모달 간단 벤치마크에서 어떻게 작동하나요?

주요 결과

• 알파-정밀도 및 베타-재현 곡선은 밀도 수준 전반에서 충실도와 다양성을 드러내며, 모드 붕괴(mode collapse)와 모드 발명(mode invention)과 같은 실패를 해결합니다.
• 통합 지표 IP_alpha와 IR_beta가 지상 truth 모델 품질과 상관되며 표준 P1/R1 및 다른 분포 기반 지표보다 제너레이티브 모델의 순위 매김에 더 나은 성능을 보일 수 있습니다.
• Authenticity는 기억된 훈련 데이터와의 차이를 통해 일반화를 포착하고 프라이버시 중심의 평가를 가능하게 합니다.
• 합성 데이터에 대해 모델 감사가 샘플 수준 점수를 활용한 후향적 평가를 통해 다운스트림 예측 성능을 향상시키며 COVID-19 사망 예측에서 AUC가 향상되었습니다.
• 이 프레임워크는 MNIST에서 IP_alpha는 견고하게 남아 있는 반면 IR_beta가 감소하는 것을 보여 모드 드롭을 탐지하는 능력을 강조하며, 특정 실패 모드를 진단하는 능력을 보여줍니다.