[논문 리뷰] The Vendi Score: A Diversity Evaluation Metric for Machine Learning

Dan Friedman, Adji Bousso Dieng|arXiv (Cornell University)|2022. 10. 05.

Scientific Computing and Data Management인용 수 26

한 줄 요약

Vendi Score는 샘플 집합의 고유값 엔트로피의 지수로 다양성을 정의하며, ML 애플리케이션을 위한 참조 없이 일반적인 다양성 지표를 제공합니다.

ABSTRACT

Diversity is an important criterion for many areas of machine learning (ML), including generative modeling and dataset curation. However, existing metrics for measuring diversity are often domain-specific and limited in flexibility. In this paper, we address the diversity evaluation problem by proposing the Vendi Score, which connects and extends ideas from ecology and quantum statistical mechanics to ML. The Vendi Score is defined as the exponential of the Shannon entropy of the eigenvalues of a similarity matrix. This matrix is induced by a user-defined similarity function applied to the sample to be evaluated for diversity. In taking a similarity function as input, the Vendi Score enables its user to specify any desired form of diversity. Importantly, unlike many existing metrics in ML, the Vendi Score does not require a reference dataset or distribution over samples or labels, it is therefore general and applicable to any generative model, decoding algorithm, and dataset from any domain where similarity can be defined. We showcase the Vendi Score on molecular generative modeling where we found it addresses shortcomings of the current diversity metric of choice in that domain. We also applied the Vendi Score to generative models of images and decoding algorithms of text where we found it confirms known results about diversity in those domains. Furthermore, we used the Vendi Score to measure mode collapse, a known shortcoming of generative adversarial networks (GANs). In particular, the Vendi Score revealed that even GANs that capture all the modes of a labeled dataset can be less diverse than the original dataset. Finally, the interpretability of the Vendi Score allowed us to diagnose several benchmark ML datasets for diversity, opening the door for diversity-informed data augmentation.

연구 동기 및 목표

• 생태학적 다양성 개념을 ML에 확장하여 일반적이고 참조 없는 다양성 지표를 만든다.
• Vendi Score를 정규화된 유사도 행렬의 고유값 엔트로피의 지수로 정의한다.
• 참조 분포를 요구하지 않으면서도 메트릭의 유연성, 해석가능성 및 도메인 간 적용 가능성을 입증한다.
• 기존의 참조 기반 및 레이블 의존적 다양성 지표와 대조하고 장점을 강조한다.

제안 방법

• k(x,x)=1을 만족하는 양의 준정부호 유사함수 k를 정의하고 K_{i,j}=k(x_i,x_j)로 커널 행렬 K를 구성한다.
• VS_k = exp(-Σ_i λ_i log λ_i)를 정의하고 K/n의 고유값 λ_1,...,λ_n를 계산한다.
• VS가 K/n의 폰 노이만 엔트로피의 지수와 같음을 보인다 (Lemma 3.1).
• 특성 분석: 유효한 수(효과적 수), 동일한 원소, 분할 및 대칭성(정리 3.1).
• 계산적 측면 논의: 일반적 경우 O(n^3), 임베딩을 통해 K=X^T X인 경우 O(d^2 n), 임베딩을 사용할 수 없을 때 Nyström 근사.
• 관련 영역( DPPs, 스펙트럴 클러스터링)과의 관련성.

실험 결과

연구 질문

• RQ1 ML에서 레퍼런스 분포나 라벨에 의존하지 않고 다양성을 어떻게 정량화할 수 있는가?
• RQ2 샘플 수, 유사성 구조, 특성 상관관계에 따라 Vendi Score는 어떻게 동작하는가?
• RQ3 도메인에 무관한 유사성 함수를 사용하여 Vendi Score가 여러 도메인(분자, 이미지, 텍스트)에 걸친 다양성을 포착할 수 있는가?
• RQ4 Vendi Score가 기존 지표로는 감지되지 않는 모드 붕괴나 다양성 부족을 드러내는가?
• RQ5 대형 ML 데이터 세트에서 Vendi Score를 계산하기 위한 계산 고려사항 및 실용적 구현은 무엇인가?

주요 결과

• VS는 실제 다양성과 함께 증가하며 서로 다른 원소의 유효 개수로 작용한다.
• VS는 특징 간 상관관계를 반영하고 서로 다른 유사성 함수를 결합할 때 증가한다.
• VS는 전통적 다양성 점수(IntDiv 등)가 비슷한 모델 간의 다양성을 중복되거나 군집된 구조를 강조함으로써 구분할 수 있다.
• VS는 분자, 이미지, 텍스트 디코딩 실험에서 알려진 다양성 패턴과 일치하고 모드 붕괴의 더 세밀한 차이를 드러낸다.
• VS는 데이터셋 다양성에 대한 해석 가능한 진단을 제공하고 다양성 인식을 위한 데이터 증강에 정보를 제공할 수 있다.