[論文レビュー] ProtoDash: Fast Interpretable Prototype Selection

Karthik S. Gurumoorthy, Amit Dhurandhar+1 more|arXiv (Cornell University)|Jul 5, 2017

Machine Learning and Data Classification被引用数 14

ひとこと要約

ProtoDashは、任意の対称正定値カーネルで動作する弱いサブモジュラリティフレームワークを用いて、複雑なデータセットから重み付きプロトタイプを高速かつ解釈可能に選択するアルゴリズムを提案する。従来の研究を一般化し、プロトタイプと批判（低重みプロトタイプ）の両方の選択を可能にした。理論的近似保証を備え、スケーラブルかつ一貫性のある代表例の選択が可能であり、小売、MNIST、公衆衛生のデータセットにおいて優れた性能を示した。

ABSTRACT

In this paper we propose an efficient algorithm ProtoDash for selecting prototypical examples from complex datasets. Our work builds on top of the learn to criticize (L2C) work by Kim et al. (2016) and generalizes it to not only select prototypes for a given sparsity level $m$ but also to associate non-negative weights with each of them indicative of the importance of each prototype. Unlike in the case of L2C, this extension provides a single coherent framework under which both prototypes and criticisms (i.e. lowest weighted prototypes) can be found. Furthermore, our framework works for any symmetric positive definite kernel thus addressing one of the open questions laid out in Kim et al. (2016). Our additional requirement of learning non-negative weights introduces technical challenges as the objective is no longer submodular as in the previous work. However, we show that the problem is weakly submodular and derive approximation guarantees for our fast ProtoDash algorithm. Moreover, ProtoDash can not only find prototypical examples for a dataset $X$, but it can also find (weighted) prototypical examples from $X^{(2)}$ that best represent another dataset $X^{(1)}$, where $X^{(1)}$ and $X^{(2)}$ belong to the same feature space. We demonstrate the efficacy of our method on diverse domains namely; retail, digit recognition (MNIST) and on the latest publicly available 40 health questionnaires obtained from the Center for Disease Control (CDC) website maintained by the US Dept. of Health. We validate the results quantitatively as well as qualitatively based on expert feedback and recently published scientific studies on public health.

研究の動機と目的

• 既存のプロトタイプ選択手法の限界を克服し、統一されたフレームワークでプロトタイプと批判（低重みプロトタイプ）の両方の選択を可能にすること。
• 学習による批判（L2C）フレームワークを、特定のカーネルタイプに制限されない任意の対称正定値カーネルで動作可能に一般化すること、これにより先行研究における重要な未解決課題を克服すること。
• プロトタイプに非負の重みを導入することで、その重要性を反映させ、解釈可能性と代表性を向上させること。
• 非サブモジュラリティに起因する重み付き目的関数に対しても理論的近似保証を提供すること。
• 同じ特徴空間内において、あるデータセットからのプロトタイプが別のデータセットを最もよく表現できるように、クロスデータセットのプロトタイプ選択を可能にすること。

提案手法

• L2Cフレームワークを拡張し、プロトタイプに非負の重みを導入することで、選択問題を弱いサブモジュラリティ最適化問題に変換する。
• 代表的特徴と重みに基づく重要性の両立を図る新しい目的関数を用いた、グリーディな前向き選択アルゴリズムを採用する。
• 任意の対称正定値カーネルに基づくカーネル化された類似度測定を用いて、データポイント間の類縁度を計算する。
• 弱いサブモジュラリティの下でグリーディ選択プロセスの理論的近似バウンドを導出することで、近似的最適性能を保証する。
• 同じ特徴空間内で、ドメイン内プロトタイプ選択（データセットXから選択）とクロスデータセットプロトタイプ選択（X²からX¹を表現するように）の両方をサポートする。
• 効率的なカーネル計算とプロトタイプ集合の反復的精錬を活用することで、高速かつスケーラブルなアルゴリズムを実装する。

実験結果

リサーチクエスチョン

• RQ1 プロトタイプと批判（低重みプロトタイプ）を同時に選択でき、解釈可能で非負の重みを備えた統一フレームワークを開発できるか？
• RQ2 特定のカーネルタイプに制限されず、任意の対称正定値カーネルで動作するように、プロトタイプ選択を一般化できるか？
• RQ3 非負の重みの導入により目的関数が非サブモジュラリティとなる場合でも、どのような理論的保証を提供できるか？
• RQ4 ProtoDashは、同じ特徴空間内において、あるデータセットからの代表例を、別のデータセットを最もよく表現するように効果的に選択できるか？
• RQ5 小売、文字認識、公衆衛生といった多様な分野における実世界の応用において、ProtoDashはどのように性能を発揮するか？

主な発見

• ProtoDashはL2Cフレームワークを非負の重みを備えたプロトタイプと批判の両方の選択を可能にする形で効果的に一般化し、より一貫性があり解釈可能な表現を実現した。
• 非サブモジュラリティに起因する目的関数に対しても、問題が弱いサブモジュラリティであることを証明することで、理論的近似保証を達成した。
• MNISTにおいて、計算コストを最小限に抑えつつ、高品質なプロトタイプ選択を実現し、一貫性のある解釈可能性を示した。
• 公衆衛生分野では、CDCデータからエキスパートが検証済みの公衆衛生研究と整合する代表的な健康アンケートを特定した。
• エキスパートのフィードバックにより、選択されたプロトタイプが意味的に意味があり、主要な健康状態や行動を的確に代表していることが確認された。
• アルゴリズムは大規模データセットにも効率的にスケーリングでき、高次元の特徴空間においても高速なプロトタイプ選択を可能にした。