[논문 리뷰] Confidence sets with expected sizes for Multiclass Classification

Christophe Denis, Mohamed Hebiri|arXiv (Cornell University)|2016. 08. 31.

Machine Learning and Algorithms참고 문헌 11인용 수 12

한 줄 요약

이 논문은 다중 분류 문제에서 예측 레이블의 집합(신뢰 집합)을 단일 레이블이 아닌 출력하는 새로운 방법을 제안한다. 이 방법은 이러한 집합의 기대 크기를 사용자가 지정한 수준 β로 제어하며, 볼록 대체 손실을 최소화하고 비라벨 데이터를 활용한 校정을 통해 Tsybakov 마진 조건 하에서 최적의 분류 오차율을 달성한다. 수렴 속도는 클래스 수 K에 대해 선형적이다.

ABSTRACT

Multiclass classification problems such as image annotation can involve a large number of classes. In this context, confusion between classes can occur, and single label classification may be misleading. We provide in the present paper a general device that, given an unlabeled dataset and a score function defined as the minimizer of some empirical and convex risk, outputs a set of class labels, instead of a single one. Interestingly, this procedure does not require that the unlabeled dataset explores the whole classes. Even more, the method is calibrated to control the expected size of the output set while minimizing the classification risk. We show the statistical optimality of the procedure and establish rates of convergence under the Tsybakov margin condition. It turns out that these rates are linear on the number of labels. We apply our methodology to convex aggregation of confidence sets based on the V-fold cross validation principle also known as the superlearning principle. We illustrate the numerical performance of the procedure on real data and demonstrate in particular that with moderate expected size, w.r.t. the number of labels, the procedure provides significant improvement of the classification risk.

연구 동기 및 목표

• 고차원, 다중 분류 문제에서 클래스 혼동이 흔한 상황에서 단일 레이블 분류의 한계를 해결한다.
• 단일 레이블 대신 다수의 예측 레이블로 구성된 신뢰 집합을 출력하는 프레임워크를 개발하여 정확도와 해석 가능성 향상을 도모한다.
• 신뢰 집합의 기대 크기를 약간의 β로 제어하여 정밀도와 커버리지 사이의 균형을 이룬다.
• Tsybakov 마진 조건 하에서 분류 위험을 최소화함으로써 통계적 최적성을 확보한다.
• 라벨이 부여된 데이터로 점수 추정을 수행하고 비라벨 데이터로 분포 校정을 수행함으로써 반감독 학습을 가능하게 한다.

제안 방법

• 입력 X에서 클래스 레이블 집합 Y = {1,…,K}의 부분집합으로 매핑하는 신뢰 집합 Γ를 정의하며, 기대 크기 E[|Γ(X)|] ≈ β가 되도록 한다.
• 다중 분류 문제에서 비볼록인 0/1 손실을 대체하기 위해 볼록 대체 손실 함수를 도입하여 효율적인 최적화를 가능하게 한다.
• 두 단계 절차를 사용한다: 첫째, 라벨이 부여된 데이터에서 경험이론적 위험 최소화를 통해 점수 함수 f_k(X)를 추정한다. 둘째, 비라벨 데이터를 사용하여 점수의 누적분포함수를 校정한다.
• 예측된 누적분포함수 F_k(X)가 β를 초과할 경우, 클래스 k를 Γ(X)에 포함시킨다.
• V-겹 교차검증을 적용하여 다수의 신뢰 집합을 통합함으로써 초학습 원리(superlearning)를 다중 분류 설정으로 일반화한다.
• Tsybakov 마진 가정 하에서 경험 위험 최소화자와 최적의 신뢰 집합 간의 관계를 연결하는 오라클 부등식을 유도한다.

실험 결과

연구 질문

• RQ1 기대 크기를 제어하면서 다중 분류에서 신뢰 집합을 어떻게 구성할 수 있는가?
• RQ2 Tsybakov 마진 조건 하에서 이러한 신뢰 집합의 통계적 최적성은 어떠한가?
• RQ3 비라벨 데이터만을 사용하여 校정을 수행함으로써 반감독 방식으로 구현할 수 있는가?
• RQ4 V-겹 교차검증을 통한 신뢰 집합의 통합은 개별 모델 대비 성능을 어떻게 향상시키는가?
• RQ5 제안된 방법의 수렴 속도는 무엇이며, 클래스 수 K에 따라 어떻게 변화하는가?

주요 결과

• 제안된 방법은 Tsybakov 마진 조건 하에서 최적의 분류 오차율을 달성하며, 클래스 수 K에 대해 선형 수렴 속도를 보인다.
• 신뢰 집합의 기대 크기는 β로 제어되며, 이 방법은 경험적 신뢰 집합이 이 제약 조건 하에서 분류 위험을 최소화함을 보장한다.
• 오라클 부등식은 경험적 신뢰 집합의 초과 위험을 점수 함수 클래스의 복잡도와 표본 크기에 따라 결정되는 항들로 제한함을 보여준다.
• 이 방법은 반감독적이다: 라벨이 부여된 데이터는 점수 함수 학습에 사용되고, 비라벨 데이터는 누적분포함수 추정 및 校정에 사용되어 전체 클래스 커버리지가 필요 없이도 캘리브레이션을 가능하게 한다.
• V-겹 교차검증을 통한 통합(초학습)은 중간 크기의 기대 집합 크기 조건에서도 실제 데이터셋에서 일관되고 향상된 성능을 이끌어낸다.
• 수치 실험 결과는 클래스 수에 비해 중간 크기의 기대 집합 크기를 갖는 신뢰 집합을 사용할 경우 분류 위험이 상당히 향상됨을 보여준다.