[논문 리뷰] Classification by Set Cover: The Prototype Vector Machine

Jacob Bien, Robert Tibshirani|ArXiv.org|2009. 08. 17.

Machine Learning and Algorithms참고 문헌 11인용 수 10

한 줄 요약

이 논문은 최소한의 프로토타입으로도 높은 분류 정확도를 유지하면서 프로토타입 수를 최소화하는 데 초점을 맞춘 새로운 최근접프로토타입 분류기인 프로토타입 벡터 머신(PVM)을 제안한다. 이는 집합 커버 문제로 프로토타입 선택을 공식화함으로써 달성된다. ZIP 코드 데이터셋에서 1-NN보다 더 낮은 테스트 오차를 기록했으며, 학습 포인트의 절반 미만을 사용하였다. 단백질 및 UCI 데이터셋에서도 뚜렷한 프로토타입 감소를 이룩하면서 경쟁 가능한 성능을 보였으며, 실제 학습 샘플에 기반한 희박하고 해석 가능한 모델을 제공한다.

ABSTRACT

We introduce a new nearest-prototype classifier, the prototype vector machine (PVM). It arises from a combinatorial optimization problem which we cast as a variant of the set cover problem. We propose two algorithms for approximating its solution. The PVM selects a relatively small number of representative points which can then be used for classification. It contains 1-NN as a special case. The method is compatible with any dissimilarity measure, making it amenable to situations in which the data are not embedded in an underlying feature space or in which using a non-Euclidean metric is desirable. Indeed, we demonstrate on the much studied ZIP code data how the PVM can reap the benefits of a problem-specific metric. In this example, the PVM outperforms the highly successful 1-NN with tangent distance, and does so retaining fewer than half of the data points. This example highlights the strengths of the PVM in yielding a low-error, highly interpretable model. Additionally, we apply the PVM to a protein classification problem in which a kernel-based distance is used.

연구 동기 및 목표

• 큰 학습 데이터셋을 최소한의 대표 프로토타입으로 요약하는 희박하고 해석 가능한 분류기를 개발하기 위해.
• 1-NN 및 기타 프로토타입 방법의 한계를 해결하기 위해 프로토타입 선택을 조합 최적화 문제로 공식화하기 위해.
• 프로토타입 기반 분류에 비유클리드 또는 문제에 특화된 거리 측정법을 사용할 수 있도록 하기 위해.
• 데이터 복잡성과 클래스 간 분리도에 따라 자동으로 각 클래스에 적합한 프로토타입 수를 결정하기 위해.
• 프로토타입이 합성점이나 평균값이 아닌 실제 학습 관측치임을 보장함으로써 해석성을 향상시키기 위해.

제안 방법

• PVM은 프로토타입이 반경 ε 이내의 모든 학습 포인트를 커버해야 하는 집합 커버 문제의 변종으로 프로토타입 선택을 공식화한다.
• 커버리지 정의를 위해 거리 행렬 D를 사용하며, αj는 프로토타입 포함 여부를 나타내는 이진 지표이다(αj = 1이면 zj가 선택됨).
• 정수계획문제는 ∑αj를 최소화하며, 각 학습 포인트 xi에 대해 ∑αj ≥ 1을 만족시키는 제약 조건을 포함하여, 모든 포인트가 적어도 하나의 프로토타입과 ε 이내에 있도록 보장한다.
• NP-난이도 정수계획문제를 효율적으로 해결하기 위해 두 가지 근사 알고리즘을 제안한다: 하나는 그로비 집합 커버 기반이고, 다른 하나는 슬랙 설정을 사용한 리라크스 방법이다.
• 분류 규칙은 새로운 포인트를 거리 측정 기준에서 가장 가까운 프로토타입을 가진 클래스에 할당한다.
• 비유클리드 및 커널 기반 거리 측정법을 포함한 임의의 거리 측정법을 지원하여, 복잡한 데이터 공간에서도 활용 가능하다.

실험 결과

연구 질문

• RQ1 프로토타입 기반 분류기를 집합 커버 문제로 공식화할 수 있는가? 이는 높은 정확도와 희박성을 동시에 달성할 수 있는가?
• RQ2 특정 문제에 적합한 거리 측정법(예: 숫자 이미지에서의 탄젠트 거리)을 사용할 때, PVM은 1-NN 및 K-medoids보다 어떻게 성능을 내는가?
• RQ3 수동 튜닝 없이도 PVM이 클래스에 적합한 수의 프로토타입을 자동으로 선택할 수 있는가?
• RQ4 특히 불균형 데이터셋에서, 프로토타입 수를 줄이면서도 분류 정확도를 유지하거나 향상시킬 수 있는가?
• RQ5 실제 학습 샘플을 프로토타입으로 사용할 경우, 실제 응용 분야에서 해석성은 어느 정도 향상되는가?

주요 결과

• ZIP 코드 데이터셋에서 PVM은 탄젠트 거리와 함께 사용했을 때 1-NN보다 낮은 테스트 오차를 기록했으며, 프로토타입으로 사용한 학습 포인트 수가 절반 이하였다.
• 단백질 데이터셋에서 PVM은 10겹 교차검증 오차 최소값 1.76%를 기록했으며, 최적화된 SVM과 동일한 성능을 보였지만 전체적으로 933개의 프로토타입만 선택했다.
• UCI 당뇨병 데이터셋에서 PVM은 테스트 오차 24.2%를 기록했고, 프로토타입 수는 12개에 불과했으며, 1-NN의 512개에 비해 훨씬 적은 수를 사용했고도 경쟁 가능한 정확도를 유지했다.
• 유리 데이터셋에서 PVM은 1-NN의 오차 38.0%를 36.6%로 감소시켰고, 프로토타입 수는 34개로 줄였다. 이는 정확도를 훼손하지 않으면서도 효율성이 향상됨을 보여준다.
• 모음 데이터셋에서 PVM은 1-NN의 2.8% 오차율을 그대로 유지했지만, 프로토타입 수를 352개에서 352개로 동일하게 유지했으며, 더 적은 프로토타입으로도 LVQ(19.9% 오차)를 능가하는 성능을 보였다.
• 단백질 데이터셋에서 PVM은 양성 클래스에 대해 26개, 음성 클래스에 대해 907개의 프로토타입을 선택했으며, 이는 클래스 불균형과 복잡성에 따라 적응적으로 프로토타입을 선택했음을 반영한다.