[논문 리뷰] Extrapolating Expected Accuracies for Large Multi-Class Problems

Charles Zheng, Rakesh Achanta외 1명|arXiv (Cornell University)|2017. 12. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 16인용 수 3

한 줄 요약

이 논문은 소규모 k로 학습된 데이터에서 유사도 분포를 추정함으로써, 큰 다중 클래스 문제에서의 예상 분류 정확도를 외삽하는 방법을 제안한다. 이 방법은 분류 가능성 분포 D(u)의 (k−1)차 모멘트로 예상 정확도를 모델링하며, i.i.d. 클래스 샘플링과 분류기 독립성 가정 하에 더 큰 레이블 집합에서의 성능을 편향 없이 예측할 수 있다. 얼굴 인식 및 OCR 작업에서 상태 기준 정확도 외삽 성능을 검증하였다.

ABSTRACT

The difficulty of multi-class classification generally increases with the number of classes. Using data from a subset of the classes, can we predict how well a classifier will scale with an increased number of classes? Under the assumptions that the classes are sampled identically and independently from a population, and that the classifier is based on independently learned scoring functions, we show that the expected accuracy when the classifier is trained on k classes is the (k-1)st moment of a certain distribution that can be estimated from data. We present an unbiased estimation method based on the theory, and demonstrate its application on a facial recognition example.

연구 동기 및 목표

• 작은 샘플링된 부분집합에서 관측된 성능을 바탕으로, 관측되지 않은 더 큰 레이블 집합에서의 분류기 일반화 정확도를 예측하기 위해.
• i.i.d. 클래스 샘플링과 독립적인 점수 함수 조건 하에서, 분류기 정확도와 레이블 집합 크기 k 간의 관계를 수식화하기 위해.
• 더 큰 k에서의 예상 정확도를 작은 k에서의 데이터만을 사용하여 편향 없는 추정 절차를 개발함으로써, 전체 집합에서 재학습 없이 성능 외삽을 가능하게 하기 위해.
• 실세계의 다중 클래스 문제, 예를 들어 얼굴 인식 및 텔루구 OCR과 같은 사례에서 방법을 검증하여 다양한 분류기 간의 강건성을 입증하기 위해.

제안 방법

• 분류기의 점수 함수와 데이터 분포를 기반으로 유도된 분류 가능성 분포 D(u)의 (k−1)차 모멘트로 k개 클래스에 대한 예상 정확도를 모델링한다.
• 클래스들이 모집단 분포 π에서 i.i.d.로 샘플링되며, 각 클래스별로 독립적으로 분류기가 학습된다고 가정하여 개별 클래스 성능에 대한 조건부 분석이 가능하도록 한다.
• 소규모 k로 학습된 데이터에서의 경험적 데이터를 기반으로 스퍼린지 기반 스무딩을 사용하여 D(u)를 비모수적 방식으로 추정한다.
• 추정된 D(u)를 사용하여 고차 모멘트를 계산하고, 이는 더 큰 k에 대한 예상 정확도에 해당하여, 관측되지 않은 k2 > k1로의 외삽이 가능해진다.
• 이론적 모멘트 공식에 기반한 편향 없는 추정 알고리즘을 구현하여 다양한 k에서의 성능 예측 편향을 최소화한다.
• 다양한 분류기(SVM, 로지스틱 회귀, 딥 컨volution 네트워크)를 대상으로 얼굴 인식 및 텔루구 OCR 데이터셋에서 재샘플링 및 교차검증을 통해 방법을 검증한다.

실험 결과

연구 질문

• RQ1 i.i.d. 클래스 가정 하에, 작은 샘플링된 부분집합에서의 성능으로부터 큰 레이블 집합에서의 예상 분류 정확도를 예측할 수 있는가?
• RQ2 예상 정확도는 레이블 집합 크기 k가 증가함에 따라 어떻게 변화하는가? 이 변화는 수학적으로 기술할 수 있는가?
• RQ3 제한된 학습 데이터에서 소규모 k로부터 분류 가능성 분포의 (k−1)차 모멘트를 추정하는 데 이론적 근거는 무엇인가?
• RQ4 기존의 외삽 기법(KDE-BCV, KDE-UCV 등)과 비교했을 때, 제안된 방법은 정확도와 편향 측면에서 어떻게 다른가?
• RQ5 이 방법은 얼굴 인식 및 OCR과 같은 다양한 실세계 다중 클래스 작업과 다양한 분류기 간에 얼마나 일반화 가능한가?

주요 결과

• k개 클래스에 대한 예상 정확도는 분류 가능성 분포 D(u)의 (k−1)차 모멘트와 수학적으로 동일하며, 이는 소규모 k로 학습된 데이터에서 추정할 수 있다.
• 딥 컨volution 네트워크와 SVM에 대해 20에서 100, 100에서 400으로의 외삽에서 ClassExReg 방법이 실제 정확도에 가장 가까운 결과를 기록하였으며, 로지스틱 회귀의 경우 KDE-BCV와 비교해도 유사하거나 우월한 성능을 보였다.
• 20에서 400으로의 외삽(비율 20)에서 ClassExReg는 모든 분류기에서 다른 방법들을 능가하거나 동등하게 성능을 보였지만, 소규모 학습 데이터로 인해 성능 변동성이 높았다.
• 텔루구 OCR 데이터셋에서, 딥 컨볼루션 네트워크를 사용해 100에서 400개 클래스로 외삽할 때 ClassExReg는 0.9837의 정확도를 예측하였으며, 실제 값인 0.9860과 매우 유사하였다.
• 이론적 가정 하에 편향 없이 작동하며, 더 큰 k로의 재학습 없이도 고차 모멘트를 효율적으로 계산할 수 있다.
• 다양한 분류기와 데이터셋 간에 강건하며, 코드는 공개적으로 제공되며 https://github.com/snarles/ClassEx 에서 접근할 수 있다.