[논문 리뷰] Consistent Algorithms for Multiclass Classification with a Reject Option

Harish G. Ramaswamy, Ambuj Tewari외 1명|arXiv (Cornell University)|2015. 05. 15.

Face and Expression Recognition참고 문헌 23인용 수 10

한 줄 요약

이 논문은 예측을 기각할 수 있는 비용 α를 고려한 다중분류 문제에 대해 일관된 알고리즘을 제안한다. Crammer-Singer 및 one-vs-all 허브 손실을 사용하여 다중분류 문제로 이진 일관성 방법을 일반화하고, 수정된 예측기와 함께 사용하는 새로운 저차원 볼록 서로서바(BEP)를 도입한다. BEP는 α = 1/2에서 일관성을 확보하며, 기존 방법들보다 효율성과 확장성 면에서 뛰어나다.

ABSTRACT

We consider the problem of $n$-class classification ($n\geq 2$), where the classifier can choose to abstain from making predictions at a given cost, say, a factor $α$ of the cost of misclassification. Designing consistent algorithms for such $n$-class classification problems with a `reject option' is the main goal of this paper, thereby extending and generalizing previously known results for $n=2$. We show that the Crammer-Singer surrogate and the one vs all hinge loss, albeit with a different predictor than the standard argmax, yield consistent algorithms for this problem when $α=\frac{1}{2}$. More interestingly, we design a new convex surrogate that is also consistent for this problem when $α=\frac{1}{2}$ and operates on a much lower dimensional space ($\log(n)$ as opposed to $n$). We also generalize all three surrogates to be consistent for any $α\in[0, \frac{1}{2}]$.

연구 동기 및 목표

• 새로운 평가 지표인 기각(α) 손실을 사용하여 다중분류 기반의 기각 옵션을 체계화한다.
• 이진 분류에서의 일관성 학습 이론을 기각 옵션이 있는 다중분류 문제로 확장한다.
• 로그₂(n)-차원 공간에서 작동하는 새로운 볼록 서로서바를 설계하여, n차원 방법 대비 효율성을 향상시킨다.
• α = 1/2일 때, 수정된 예측 규칙을 적용한 기존 서로서바(Crammer-Singer, OVA 허브)의 일관성을 증명한다.
• 모든 세 가지 서로서바를 α ∈ [0, 1/2]의 모든 값에 대해 일관성 있도록 일반화한다.

제안 방법

• 기각(α) 손실 함수를 제안하여, 정확한 예측에는 0, 잘못된 분류에는 1, 기각에는 α의 손실을 할당한다.
• 베이즈 최적 분류기 h*α(x)를 정의하여, max_y px(y) ≥ 1−α일 경우에만 argmax_y px(y)에 해당하는 클래스를 예측하고, 그렇지 않으면 기각한다.
• Crammer-Singer 및 one-vs-all 허브 손실이 신뢰도 기반 임계값을 적용한 수정된 예측기와 조합될 경우, 기존 다중분류 문제에서 일관성이 없더라도 일관성 있는 알고리즘을 도출함을 보여준다.
• 이중 인코딩 예측(BEP) 서로서바를 도입하여, 클래스 레이블의 이진 인코딩을 통해 로그₂(n) 차원에서 작동하는 볼록이고 조각별 선형인 서로서바를 구현한다.
• abstain 손실과 BEP, Crammer-Singer, OVA 서로서바 간의 초과 위험 경계를 유도하고, 적절한 임계값 설정 조건 하에서 일관성을 증명한다.
• 예측기의 임계값 설정 규칙을 조정하여, 모든 세 서로서바를 α ∈ [0, 1/2]에 대해 일관성 있도록 일반화한다.

실험 결과

연구 질문

• RQ1 이전의 이진 분류 결과를 확장하여, 볼록 서로서바를 사용해 일관성 있는 다중분류 기반의 기각 옵션을 달성할 수 있는가?
• RQ2 n차원 대신 로그₂(n) 차원에서 작동하는 저차원 서로서바를 구성할 수 있으며, 이는 기각(1/2) 손실에 대해 일관성을 유지할 수 있는가?
• RQ3 Crammer-Singer 및 one-vs-all 허브 손실과 같은 표준 다중분류 서로서바가 기각 옵션을 고려해 수정된 후에도 여전히 일관성 있는가?
• RQ4 기존 방법들과 비교해 새로운 BEP 서로서바의 성능은 정확도, 학습 시간, 확장성 측면에서 어떻게 나타나는가?
• RQ5 이러한 서로서바의 일관성은 α = 1/2에 국한되지 않고, α ∈ [0, 1/2]의 모든 값에 대해 확장 가능한가?

주요 결과

• BEP 서로서바는 로그₂(n)-차원 공간에서 작동하면서도 기각(1/2) 손실에 대해 일관성을 확보하여 모델 복잡도를 크게 감소시킨다.
• Crammer-Singer 및 one-vs-all 허브 손실은 기존 다중분류 문제에서는 일관성이 없지만, 기존의 예측기 대신 기준치 기반 임계값을 적용한 수정된 예측기와 조합될 경우 일관성 있는 알고리즘을 도출한다.
• BEP 서로서바의 학습 속도는 CS 및 OVA를 모두 앞서며, n이 증가할수록 속도 향상 요인이 커져 가능성이 증가한다. 이는 로그₂(n)개의 함수만 학습하기 때문이다.
• 실험 결과, BEP는 정확도 측면에서 OVA 및 CS와 유사하거나 뛰어나며, 특히 20% 및 40% 기각률에서 가장 낮은 오차를 기록한다.
• 초기 임계값(예: CS/BEP의 τ=0, OVA의 τ=−1)에서 초과 위험 경계가 붕괴됨을 확인하여, 임계값 선택의 이론적 한계를 확인한다.
• 실제로 BEP 서로서바가 가장 빠르며, covertype와 같은 대규모 데이터셋에서 CS 대비 최대 7배, OVA 대비 최대 3배 빠른 학습 시간을 기록한다.