[論文レビュー] Classification by Set Cover: The Prototype Vector Machine

Jacob Bien, Robert Tibshirani|ArXiv.org|Aug 17, 2009

Machine Learning and Algorithms参考文献 11被引用数 10

ひとこと要約

この論文は、分類精度を維持しながらプロトタイプ数を最小化するためのセットカバー問題としてプロトタイプ選択を定式化する、新しい最近傍プロトタイプ分類器「プロトタイプベクタマシン（PVM）」を提案する。ZIPコードデータセットでは、1-NNより少ない半分以下の訓練点をプロトタイプとして使用しながらも、より低いテスト誤差を達成した。プロテインおよびUCIデータセットでも顕著なプロトタイプ削減を実現し、競争力ある性能を発揮した。このモデルは実際の訓練インスタンスに基づくスパースで解釈可能な分類器である。

ABSTRACT

We introduce a new nearest-prototype classifier, the prototype vector machine (PVM). It arises from a combinatorial optimization problem which we cast as a variant of the set cover problem. We propose two algorithms for approximating its solution. The PVM selects a relatively small number of representative points which can then be used for classification. It contains 1-NN as a special case. The method is compatible with any dissimilarity measure, making it amenable to situations in which the data are not embedded in an underlying feature space or in which using a non-Euclidean metric is desirable. Indeed, we demonstrate on the much studied ZIP code data how the PVM can reap the benefits of a problem-specific metric. In this example, the PVM outperforms the highly successful 1-NN with tangent distance, and does so retaining fewer than half of the data points. This example highlights the strengths of the PVM in yielding a low-error, highly interpretable model. Additionally, we apply the PVM to a protein classification problem in which a kernel-based distance is used.

研究の動機と目的

• 大規模な訓練データセットを、最小限の代表的プロトタイプで要約するスパースで解釈可能な分類器を開発すること。
• 1-NN や他のプロトタイプ手法の限界を克服するため、プロトタイプ選択を組み合わせ最適化問題として定式化すること。
• プロトタイプベース分類に非ユークリッド的または問題固有の類似度測度を用いることを可能にすること。
• データの複雑さとクラス間分離度に基づいて、各クラスに適したプロトタイプ数を自動的に決定すること。
• プロトタイプを合成点や平均化点ではなく、実際の訓練観測値にすることにより、解釈性を向上させること。

提案手法

• PVMは、プロトタイプが半径ε内にすべての訓練点をカバーする必要があるセットカバー問題の一種としてプロトタイプ選択を定式化する。
• カバレッジを定義するために類似度行列 D を使用し、プロトタイプの含むかどうかを示すバイナリ変数 αj（zj が選択された場合 αj = 1）を導入する。
• 整数計画法により ∑αj を最小化するが、各訓練点 xi に対して ∑αj ≥ 1 が成り立つように制約を課す。これにより、各点が少なくとも1つのプロトタイプからε以内に存在することを保証する。
• NP困難な整数計画問題を効率的に解くために、2つの近似アルゴリズムを提案：1つはグリーディセットカバーに基づくもの、もう1つはスラック式の緩和を用いるもの。
• 分類ルールは、新しい点を、類似度（距離）において最も近いプロトタイプを持つクラスに割り当てる。
• 非ユークリッド的またはカーネルベースの距離を含む、任意の類似度測度をサポート可能であり、複雑なデータ空間でも利用可能である。

実験結果

リサーチクエスチョン

• RQ1 高精度とスパarsityの両立を実現するため、プロトタイプベース分類器をセットカバー問題として定式化できるか？
• RQ2 例えば、数値画像における接線距離のような問題固有の類似度測度を用いた場合、PVMは1-NN や K-メディオイドと比較してどのように性能を発揮するか？
• RQ3 手動でのチューニングなしに、PVMはクラスに適したプロトタイプ数を自動的に選択できるか？
• RQ4 特にクラスに偏りのあるデータセットにおいて、PVMはプロトタイプ数を削減しながらも分類精度を維持または向上できるか？
• RQ5 実際の訓練インスタンスをプロトタイプとして使用することで、実世界の応用において解釈性がどの程度向上するか？

主な発見

• ZIPコードデータセットでは、PVMは接線距離を用いた1-NNよりも低いテスト誤差を達成したが、プロトタイプとして使用した訓練点の数は半分未満であった。
• プロテインデータセットでは、10回交差検証による最小誤差が1.76%にまで低下し、最適化されたSVMと同等の性能を発揮したが、全体のプロトタイプ数はわずか933にまで削減された。
• UCIの糖尿病データセットでは、PVMは12個のプロトタイプで24.2%のテスト誤差を達成したのに対し、1-NNは512個のプロトタイプを必要としたが、性能は同等であった。
• ガラスデータセットでは、1-NNの38.0%からPVMで36.6%に誤差が低下し、34個のプロトタイプで実現した。これは、精度を損なわず効率性が向上したことを示している。
• ボイスデータセットでは、PVMは1-NNと同等の2.8%の誤差率を達成したが、プロトタイプ数は352から352（1-NNと同一）にまで削減された。ただし、LVQ（19.9%誤差）に比べて少ないプロトタイプ数で優れた性能を発揮した。
• プロテインデータセットでは、陽性クラスに26個、陰性クラスに907個のプロトタイプが選択された。これは、クラスの不均衡と複雑さを反映しており、PVMの適応的プロトタイプ選択の有効性を示している。