[논문 리뷰] A Practical Guide to Sample-based Statistical Distances for Evaluating Generative Models in Science

Sebastian Bischoff, Alana Darcher외 19명|arXiv (Cornell University)|2024. 03. 19.

Data Analysis with R인용 수 4

한 줄 요약

이 논문은 과학 분야에서 생성 모델을 평가하기 위해 널리 사용되는 네 가지 통계적 거리—Sliced-Wasserstein, C2ST, MMD, FID—에 대한 실용적이고 접근성 있는 가이드를 제공한다. 경험적 분석을 통해 동일한 데이터에서 서로 다른 거리가 상이한 결론을 도출할 수 있음을 보여주며, 과학 분야에서 견고한 모델 평가를 확보하기 위해 다중거리 평가를 권장한다.

ABSTRACT

Generative models are invaluable in many fields of science because of their ability to capture high-dimensional and complicated distributions, such as photo-realistic images, protein structures, and connectomes. How do we evaluate the samples these models generate? This work aims to provide an accessible entry point to understanding popular sample-based statistical distances, requiring only foundational knowledge in mathematics and statistics. We focus on four commonly used notions of statistical distances representing different methodologies: Using low-dimensional projections (Sliced-Wasserstein; SW), obtaining a distance using classifiers (Classifier Two-Sample Tests; C2ST), using embeddings through kernels (Maximum Mean Discrepancy; MMD), or neural networks (Fréchet Inception Distance; FID). We highlight the intuition behind each distance and explain their merits, scalability, complexity, and pitfalls. To demonstrate how these distances are used in practice, we evaluate generative models from different scientific domains, namely a model of decision-making and a model generating medical images. We showcase that distinct distances can give different results on similar data. Through this guide, we aim to help researchers to use, interpret, and evaluate statistical distances for generative models in science.

연구 동기 및 목표

• 과학 분야의 연구자들이 생성 모델을 평가하는 데 사용되는 핵심 통계적 거리에 대해 접근성 있고 직관적인 이해를 제공하는 것.
• 이미지, 시계열, 신경 활동과 같이 복잡하고 고차원적인 데이터를 생성하는 생성 모델의 경우 평가 지표를 선택하는 데 도전하는 문제를 해결하는 것.
• 동일한 생성 모델에 대해 서로 다른 통계적 거리가 상반된 평가를 내릴 수 있음을 보여주며, 다중 지표 평가의 중요성을 부각하는 것.
• 데이터 유형, 도메인 및 평가 목표에 따라 통계적 거리의 선택, 구현 및 해석을 안내하는 것.
• 실제 과학 데이터셋을 활용하여 각 방법의 강점, 한계 및 실용적 고려사항을 설명함으로써 모델 평가의 최선의 실천 방식을 촉진하는 것.

제안 방법

• 저자는 네 가지 통계적 거리—Sliced-Wasserstein (SW), Classifier Two-Sample Test (C2ST), Maximum Mean Discrepancy (MMD), Fréchet Inception Distance (FID)—를 평가하며, 각각 다른 방법론적 접근을 반영한다.
• SW는 고차원 데이터의 저차원 투영을 사용하여 워샤르스키 거리를 추정함으로써 효율적인 계산과 고차원성에 대한 강건성을 달성한다.
• C2ST는 실제 샘플과 생성된 샘플을 구분하는 데 훈련된 분류기를 활용하며, 검정 통계량은 분포 간의 분리 정도를 반영한다.
• MMD는 재생 커널 힐베르트 공간에서 실제 및 생성된 데이터의 임베딩 간 거리를 계산하며, 커널 기반의 분포 비교에 의존한다.
• FID는 사전 훈련된 딥 네URAL 네트워크(예: Inception)를 사용해 이미지에서 특징을 추출한 후, 실제 및 생성된 특징 분포의 평균과 공분산 간의 프리에트 거리를 계산한다.
• 이 연구는 의사결정 과정 모델링과 의료 영상 생성에 대한 두 가지 과학적 생성 모델에 이러한 지표를 적용하여 다중 방법 간 비교를 가능하게 한다.

Figure 1: The need for statistical distances in scientific generative modeling. (a) An example target distribution, $p_{true}(x)$ , and two learned distributions ( $p_{1}(x)$ and $p_{2}(x)$ ) of different models trained to capture $p_{true}(x)$ . All three distributions share the same mean and margi

실험 결과

연구 질문

• RQ1 SW, C2ST, MMD, FID와 같은 다양한 통계적 거리가 다양한 과학적 데이터 유형에서 생성 모델을 평가하는 데 어떻게 성능을 발휘하는가?
• RQ2 이러한 거리들이 동일한 생성 모델을 평가할 때 얼마나 일치하는가, 그리고 어떤 경우에 서로 다를까?
• RQ3 실제 과학적 응용에서 이 평가 방법들 간의 확장성, 복잡성, 해석 가능성 간의 주요 상충 관계는 무엇인가?
• RQ4 시계열의 시간적 구조나 영상의 시각적 품질과 같은 도메인 특성은 각 거리의 적합성에 어떻게 영향을 미치는가?
• RQ5 단일 거리로는 생성 모델 품질을 신뢰성 있게 평가할 수 있는가, 아니면 견고한 결론을 내리기 위해 다중 지표 평가가 필수적인가?

주요 결과

• 동일한 생성 모델에 대해 서로 다른 통계적 거리가 상이한 평가를 내릴 수 있으며, 이는 유사한 데이터에 적용된 경우에도 마찬가지로 나타나며, 어떤 단일 지표도 분포 유사성의 모든 측면을 포괄하지 못함을 시사한다.
• FID는 널리 사용되지만 클래스 불균형에 민감할 수 있으며, 특히 편향되거나 일반화되지 않은 특징 추출기의 영향을 받아 시각적 품질을 완전히 반영하지 못할 수 있다.
• C2ST와 MMD는 일반적인 분포 비교에 효과적이지만, 신뢰성 있고 재현 가능한 결과를 확보하기 위해 분류기 또는 커널의 철저한 설계가 필요하다.
• Sliced-Wasserstein은 계산 효율성과 고차원 데이터에 대한 강건성 사이의 균형을 잘 이루며, 복잡한 과학적 분포에 적합하다.
• FID의 특징 추출기 선택이 결과에 큰 영향을 미치며, 비이미지 데이터(예: 시계열)에 대해 표준화되고 도메인에 관계없이 적용 가능한 네트워크가 부족하여 연구 간 비교가 제한된다.
• 이 연구는 여러 거리를 조합함으로써 단일 지표에 의존하는 것보다 더 포괄적이고 신뢰할 수 있는 생성 모델 성능 평가를 가능하게 한다는 점을 입증한다.

Figure 2: Schematic for the Sliced-Wasserstein distance. (a) Samples from two two-dimensional distributions along with example slices. The “slicing” is done by sampling random directions from the unit sphere and projecting the samples from the higher-dimensional distribution onto that direction. (b)