[論文レビュー] The Vendi Score: A Diversity Evaluation Metric for Machine Learning

Dan Friedman, Adji Bousso Dieng|arXiv (Cornell University)|Oct 5, 2022

Scientific Computing and Data Management被引用数 26

ひとこと要約

Vendiスコアは、サンプル集合上のユーザー定義類似性カーネルの固有値のエントロピーの指数として多様性を定義し、MLアプリケーション向けの参照なしの一般的な多様性指標を提供します。

ABSTRACT

Diversity is an important criterion for many areas of machine learning (ML), including generative modeling and dataset curation. However, existing metrics for measuring diversity are often domain-specific and limited in flexibility. In this paper, we address the diversity evaluation problem by proposing the Vendi Score, which connects and extends ideas from ecology and quantum statistical mechanics to ML. The Vendi Score is defined as the exponential of the Shannon entropy of the eigenvalues of a similarity matrix. This matrix is induced by a user-defined similarity function applied to the sample to be evaluated for diversity. In taking a similarity function as input, the Vendi Score enables its user to specify any desired form of diversity. Importantly, unlike many existing metrics in ML, the Vendi Score does not require a reference dataset or distribution over samples or labels, it is therefore general and applicable to any generative model, decoding algorithm, and dataset from any domain where similarity can be defined. We showcase the Vendi Score on molecular generative modeling where we found it addresses shortcomings of the current diversity metric of choice in that domain. We also applied the Vendi Score to generative models of images and decoding algorithms of text where we found it confirms known results about diversity in those domains. Furthermore, we used the Vendi Score to measure mode collapse, a known shortcoming of generative adversarial networks (GANs). In particular, the Vendi Score revealed that even GANs that capture all the modes of a labeled dataset can be less diverse than the original dataset. Finally, the interpretability of the Vendi Score allowed us to diagnose several benchmark ML datasets for diversity, opening the door for diversity-informed data augmentation.

研究の動機と目的

• 生態系の多様性概念をMLへ拡張し、一般的で参照なしの多様性指標を作成する。
• 正規化された類似性行列の固有値エントロピーの指数としてVendiスコアを定義する。
• 参照分布を必要とせず、指標の柔軟性、解釈性、領域横断の適用可能性を示す。
• 既存の参照ベースおよびラベル依存の多様性指標と対比し、利点を強調する。

提案手法

• k(x,x)=1 を満たす半正定値類似性関数 k を定義し、K_{i,j}=k(x_i,x_j) としてカーネル行列 K を構築する。
• K/n の固有値 λ_1,...,λ_n を計算し、VS_k = exp(-Σ_i λ_i log λ_i) を定義する。
• VS が K/n のフォン・ノイマンエントロピーの指数に等しいことを示す（補題3.1）。
• 性質を分析する：有効数、同一要素、分割、対称性（定理3.1）。
• 計算的側面を議論する：一般ケースは O(n^3)、埋め込みを介して K = X^T X の場合は O(d^2 n)、埋め込みが利用できない場合は Nyström 近似。
• 関連領域（DPP、スペクトルクラスタリング）と関連づける。

実験結果

リサーチクエスチョン

• RQ1 ML における多様性を、参照分布やラベルに依存せずにどのように定量化できるか。
• RQ2 Vendiスコアは、サンプル数、類似性構造、特徴量相関に対してどのように振る舞うか。
• RQ3 ドメインに依存しない類似性関数を用いて、Vendiスコアは複数のドメイン（分子、画像、テキスト）にまたがる多様性を捉えられるか。
• RQ4 Vendiスコアは、既存の指標では検出できないモード崩壊や多様性の欠如を明らかにするか。
• RQ5 大規模なMLデータセット上でVendiスコアを計算する際の計算上の考慮事項と実装実務。

主な発見

• VSは真の多様性が高まるにつれて増加し、非同質要素の有効数として機能する。
• VSは特徴間の相関を考慮し、異なる類似性関数を組み合わせると増加する。
• VSは従来の多様性スコア（例: IntDiv）が似ているモデル間でも、重複やクラスタ化構造を際立たせて多様性を区別できる。
• VSは分子・画像・テキストのデコード実験で知られた多様性パターンと一致し、モード崩壊のより細かな差を明らかにする。
• VSはデータセット多様性の解釈可能な診断を提供し、多様性を意識したデータ拡張に役立つ。