[논문 리뷰] Estimating the Accuracies of Multiple Classifiers Without Labeled Data

Ariel Jaffe, Boaz Nadler외 1명|arXiv (Cornell University)|2014. 07. 29.

Machine Learning and Data Classification참고 문헌 20인용 수 28

한 줄 요약

이 논문은 라벨이 없는 조건에서 다수의 이진 분류기의 정확도를 추정하기 위해 스펙트럼 방법을 제안한다. 이는 분류기 예측 공분산 행렬과 텐서의 랭크-원 구조를 활용하며, 일致성 있고 계산 효율적인 알고리즘(i-SML)을 도입하여 클래스 불균형과 분류기의 민감도/특이도를 추정함으로써, $\mathcal{O}_P(1/\sqrt{n})$의 비율 최적 오차 수렴을 달성한다.

ABSTRACT

In various situations one is given only the predictions of multiple classifiers over a large unlabeled test data. This scenario raises the following questions: Without any labeled data and without any a-priori knowledge about the reliability of these different classifiers, is it possible to consistently and computationally efficiently estimate their accuracies? Furthermore, also in a completely unsupervised manner, can one construct a more accurate unsupervised ensemble classifier? In this paper, focusing on the binary case, we present simple, computationally efficient algorithms to solve these questions. Furthermore, under standard classifier independence assumptions, we prove our methods are consistent and study their asymptotic error. Our approach is spectral, based on the fact that the off-diagonal entries of the classifiers' covariance matrix and 3-d tensor are rank-one. We illustrate the competitive performance of our algorithms via extensive experiments on both artificial and real datasets.

연구 동기 및 목표

• 라벨 데이터가 없을 때, 특히 분류기 신뢰도가 알려져 있지 않은 상황에서 분류기 정확도를 추정하는 문제에 대응한다.
• 기존 성능에 대한 사전 지식 없이도 계산 효율적이며 비지도 학습 기반으로 다수의 분류기를 순위 매기고 진짜 정확도를 추정할 수 있는 방법을 개발한다.
• 예측 공분산의 구조를 활용하여 기존 방법들인 다수결정 또는 SML보다 더 정확한 비지도 앙상블 분류기를 구성한다.
• 기본적인 독립성 가정 하에 제안된 추정기의 이론적 일관성 보장과 점근적 오차 비율을 제공한다.
• 기본적으로 이진 분류에 집중하고 있으나 표준 감소 방법을 통해 다중분류로의 확장을 다룬다.

제안 방법

• 분류기 간 독립성 하에서 발생하는 $m \times m$ 공분산 행렬과 $m \times m \times m$ 공동 공분산 텐서의 랭크-원 구조를 활용한다.
• 공유된 주성분 고유벡터와 서로 다른 고유값을 바탕으로, 공분산 행렬과 텐서의 주성분 고유벡터에서 클래스 불균형 매개변수 $b$를 최소제곱 절차를 통해 추출한다.
• 일치하는 단일 차원 스캔을 통한 제한된 최대우도 추정을 기반으로 한 두 번째 방법을 제안하며, 진짜 불균형에서 최대값을 도달한다.
• 추정된 $b$와 관측된 예측 빈도를 사용하여 각 분류기의 민감도와 특이도를 추정한다.
• 추정된 정확도를 사용하여 분류기 예측을 조합함으로써 i-SML 비지도 앙상블 학습기를 구성하며, SML 및 다수결정보다 향상된 성능을 달성한다.
• 스펙트럼 분해와 텐서 분석을 적용하여 라벨이 없는 예측 행렬로부터 잠재적 분류기 신뢰도를 복원한다.

실험 결과

연구 질문

• RQ1 라벨 데이터나 분류기 신뢰도에 대한 사전 지식 없이도 다수의 분류기 정확도를 일관성 있게 추정할 수 있는가?
• RQ2 라벨이 없는 예측만을 사용하여 기존의 다수결정이나 SML과 같은 기존 방법보다 더 정확한 비지도 앙상블 분류기를 구성할 수 있는가?
• RQ3 제안된 정확도 추정 방법의 점근적 오차 비율은 무엇이며, 이는 비율 최적인가?
• RQ4 스펙트럼 방법과 최대우도 기반 접근법 간의 클래스 불균형 추정 성능 및 계산 효율성은 어떻게 비교되는가?
• RQ5 제안된 방법은 일관성과 효율성을 유지하면서 다중분류로 확장될 수 있는가?

주요 결과

• 제안된 텐서 기반 방법은 주어진 가정 하에 점근적 오차 비율 $\mathcal{O}_P(1/\sqrt{n})$를 달성하며, 이는 비율 최적이다.
• 제한된 최대우도 추정기의 경우 실증 시뮬레이션에서 텐서 기반 추정기보다 더 높은 정확도를 보이며, 인위적 데이터와 실제 데이터 모두에서 뛰어난 성능을 보였다.
• i-SML 앙상블 방법은 'magic' 데이터셋에서 SML 대비 균형 정확도를 약 2% 향상시켰으며, 30개의 랜덤 실현에서 일관된 개선을 보였다.
• 실증 결과는 두 알고리즘이 라벨이 없는 인스턴스 수 $n$이 증가함에 따라 진짜 클래스 불균형에 수렴하며, 로그-로그 스케일에서 평균 제곱오차가 감소하는 경향을 확인했다.
• i-SML 방법은 MNIST 및 UCI 데이터셋을 포함한 모든 테스트 데이터셋에서 다수결정 및 SML을 뛰어넘었으며, 안정적이고 일관된 성능 향상을 보였다.
• 이론적 분석은 분류기 오차가 상호 독립이라는 가정 하에 두 추정기의 일관성을 확인하였으며, 실험에서 양호한 유한표본 성능도 관찰되었다.