[논문 리뷰] On Measuring and Quantifying Performance: Error Rates, Surrogate Loss, and an Example in SSL

Marco Loog, Jesse H. Krijthe외 1명|arXiv (Cornell University)|2017. 07. 13.

Data Stream Mining Techniques참고 문헌 3인용 수 4

한 줄 요약

이 논문은 분류기의 성능 평가를 오차율 외에도 내재된 대체 손실(예: 로그우도)을 고려하여 수행할 것을 제안한다. 이는 성능 향상의 변화를 더 잘 반영한다. 오차율은 불규칙하고 레이블이 없는 데이터가 추가되더라도 향상되지 않는 경향이 있으나, 로그우도와 같은 대체 손실은 레이블이 없는 데이터가 많아질수록 일관되고 단조롭게 증가함을 보여주며, 이는 SSL 전략에 대한 더 신뢰할 수 있는 성능 측도를 제공한다.

ABSTRACT

In various approaches to learning, notably in domain adaptation, active learning, learning under covariate shift, semi-supervised learning, learning with concept drift, and the like, one often wants to compare a baseline classifier to one or more advanced (or at least different) strategies. In this chapter, we basically argue that if such classifiers, in their respective training phases, optimize a so-called surrogate loss that it may also be valuable to compare the behavior of this loss on the test set, next to the regular classification error rate. It can provide us with an additional view on the classifiers' relative performances that error rates cannot capture. As an example, limited but convincing empirical results demonstrates that we may be able to find semi-supervised learning strategies that can guarantee performance improvements with increasing numbers of unlabeled data in terms of log-likelihood. In contrast, the latter may be impossible to guarantee for the classification error rate.

연구 동기 및 목표

• 반드시 오차율만을 사용하는 것이 성능 평가에 있어 신뢰할 수 없음을 해결하기 위해.
• 학습 중 최적화되는 일반적으로 사용되는 대체 손실이 오차율보다 더 안정적이고 정보적인 성능 측도임을 주장하기 위해.
• 실험적으로 대체 손실이 레이블이 없는 데이터가 많아질수록 단조롭게 증가하는 경향을 보이며, 오차율은 변동하거나 악화될 수 있음을 입증하기 위해.
• 이 평가 프레임워크를 SSL 외에도 활성 학습, 도메인 적응, 데이터 분포 변화 하에서의 학습 등 다른 학습 설정으로 확장하기 위해.
• 일반 조건 하에서 오차율에 대해 성능 보장을 하기 어려운 반면, 대체 손실에 대해서는 보다 실현 가능하다는 증거를 제공하기 위해.

제안 방법

• 저자들은 레이블이 있는 샘플 수가 증가하고 레이블이 없는 데이터의 양이 다양해지는 데이터셋에서 감독 학습, 자기학습, 제약이 있는 준감독 학습 분류기(NMC 및 LDA)를 훈련시켰다.
• 모델 평가에 표준 0/1 분류 오차율과 테스트 세트에서의 내재된 대체 손실(로그우도)을 모두 사용하였다.
• 통계적 안정성을 확보하고 표준편차 구간을 계산하기 위해 각 실험을 1000회 반복하여 수행하였다.
• 사용된 대체 손실은 최대우도추정에서 최적화되는 모델 하에서 테스트 데이터의 로그우도이며, 이는 목적 함수로 사용된다.
• 일관성과 일반화 능력을 평가하기 위해 여러 벤치마크 데이터셋(wdbc, haberman, transfusion 등)을 대상으로 비교 분석을 수행하였다.
• 비제약 자기학습(예: EM 기반)과 제약이 있는 준감독 접근법을 비교하여 서로 다른 SSL 전략을 대조하였다.

실험 결과

연구 질문

• RQ1 준감독 학습에서 오차율보다 대체 손실이 더 신뢰성 있고 일관성 있는 분류기 성능 측도가 될 수 있는가?
• RQ2 대체 손실(예: 로그우도)을 최적화하는 준감독 학습 전략이 레이블이 없는 데이터가 많아질수록 그 손실 측정 기준에서 성능 향상이 단조롭게 이루어지는가?
• RQ3 다양한 학습 전략과 데이터셋에서 오차율과 대체 손실의 행동이 얼마나 다를 수 있는가?
• RQ4 오차율에 대해 보장을 할 수 없더라도, 대체 손실에 대해서는 의미 있는 성능 보장을 설정할 수 있는가?
• RQ5 활성 학습이나 도메인 적응 등에서 대체 손실을 성능 측도로 사용하는 것이 SSL 외부에서도 유익한가?

주요 결과

• 자기학습 및 제약이 있는 준감독 모델의 오차율은 데이터셋 간에 불규칙하고 일관되지 않으며, 종종 향상되지 않거나 심지어 악화되는 경향을 보였다.
• 반면, 제약이 있는 준감독 접근법에서는 22개 실험 중 2개를 제외한 전부에서 테스트 데이터의 로그우도가 더 많은 레이블이 없는 데이터가 추가될수록 단조롭게 유의미하게 증가하였다.
• 자기학습 모델의 경우 4개의 레이블 샘플이 있을 때는 로그우도가 모든 경우에서 향상되었지만, 그 증가가 단조롭지 않아 학습 동역학이 덜 안정적임을 시사했다.
• 제약이 있는 접근법은 22개 실험 전부에서 대체 손실(로그우도)을 일관되게 향상시켜 안정적이고 예측 가능한 성능 향상을 보였다.
• 연구 결과, 대체 손실이 향상되더라도 오차율 향상은 보장되지 않음을 확인하여 오직 오차율에 의존하는 것의 한계를 드러냈다.
• 결과적으로, 특히 레이블이 없는 데이터의 영향을 평가할 때 오차율보다 대체 손실이 더 정보가 많고 안정적인 평가 지표임을 시사한다.