[논문 리뷰] Exploratory Learning

Bhavana Dalvi, William W. Cohen외 1명|arXiv (Cornell University)|2013. 07. 01.

Bayesian Methods and Mixture Models참고 문헌 25인용 수 3

한 줄 요약

이 논문은 클래스 수가 사전에 알려져 있지 않을 경우에 동적으로 새로운 클래스를 도입할 수 있도록 설계된 새로운 준지도학습(SSL) 프레임워크인 Exploratory EM을 제안한다. 거의 균일한 사후 확률 분포를 보이는 어려운 분류 예측을 탐지하고 이를 새로운 클래스에 할당함으로써, 기존의 전통적 SSL 및 비모수 베이지안 군집화 방법보다 훨씬 높은 F1 스코어를 달성한다. 특히 Reuters 데이터셋에서 최대 200% 향상된 성능을 기록한다.

ABSTRACT

In multiclass semi-supervised learning (SSL), it is sometimes the case that the number of classes present in the data is not known, and hence no labeled examples are provided for some classes. In this paper we present variants of well-known semi-supervised multiclass learning methods that are robust when the data contains an unknown number of classes. In particular, we present an “exploratory” extension of expectation-maximization (EM) that explores different numbers of classes while learning. “Exploratory” SSL greatly improves performance on three datasets in terms of F1 on the classes <em>with</em> seed examples—i.e., the classes which are expected to be in the data. Our Exploratory EM algorithm also outperforms a SSL method based non-parametric Bayesian clustering.

연구 동기 및 목표

• 모든 클래스가 사전에 알려져 있다는 가정을 하는 기존 준지도학습(SSL) 방법의 한계를 해결하기 위해, 특히 데이터에 예상치 못한 클래스가 존재할 경우의 문제를 다루기 위해.
• 시드 예제가 일부 클래스에만 제공될 경우, 알려지지 않은 클래스로 인한 간섭으로 인해 알려진 클래스의 성능이 떨어지는 문제를 개선하기 위해.
• 총 클래스 수를 사전에 알지 못해도, 학습 도중 새로운 클래스를 탐지할 수 있는 강력하고 유연한 학습 프레임워크를 개발하기 위해.
• 다중 클래스 분류 과제에서 정확도와 효율성 측면에서 기존의 비모수 베이지안 군집화 방법 및 고정 혼합 모델 기반의 SSL 기준선을 능가하기 위해.

제안 방법

• EM 알고리즘의 탐색적 확장을 도입하여, 사전에 클래스 수를 고정하지 않고 각 E단계에서 새로운 클래스(C_{k+1}부터 C_m까지)를 생성할 수 있도록 한다.
• 어려운 분류 예측을 탐지하기 위해 히우리스틱 기준을 사용한다—즉, 거의 균일한 사후 클래스 확률을 보이는 예측을 대상으로 하며, 이를 새로운 클래스에 할당한다.
• 세 가지 유명한 SSL 방법에 프레임워크를 적용한다: 준지도학습 나이브 베이즈, 시드 기반 K-평균, 그리고 시드 기반 von Mises-Fisher 분포 혼합 모델.
• 모델 선택 전략을 도입하여, 각 잠재적 클래스 생성 후 로그우도 향상 정도를 평가함으로써 새로운 클래스를 수용할지 여부를 결정한다.
• 비모수 베이지안 기반 기준선과 비교하기 위해, 중국식 식당 과정(CRP)을 사용한 깁스 샘플링 기반 군집 탐지 방법을 사용한다.
• 유사한 히우리스틱을 사용해 군집을 생성하는 변형인 Explore-KMeans를 구현하며, 이는 강력한 기준선으로서의 성능을 보여준다.

실험 결과

연구 질문

• RQ1 예상치 못한 클래스가 존재하지만 이를 반영하지 않은 경우, 기존 준지도학습 방법의 성능은 어떻게 저하되는가?
• RQ2 EM 학습 도중 동적으로 새로운 클래스를 도입함으로써, 시드 예제가 존재하는 알려진 클래스의 분류 정확도는 향상되는가?
• RQ3 어려운 분류 예측을 탐지하기 위한 히우리스틱 기준은 무작위 또는 균일한 클래스 생성 방식보다 효과적이고 효율적인가?
• RQ4 비모수 베이지안 군집화 방법(예: CRP 기반 깁스 샘플링)과 비교했을 때, Exploratory EM은 알려지지 않은 클래스를 탐지하고 알려진 클래스의 성능을 향상시키는 데 얼마나 효과적인가?
• RQ5 제안된 방법은 적절한 수의 군집을 효율적으로 생성하면서도 높은 정확도를 유지할 수 있는가?

주요 결과

• Exploratory EM은 알려진 클래스의 F1 스코어를 크게 향상시킨다—Delicious Sports 데이터셋에서 최대 90% 향상, 20-Newsgroups에서 27% 향상, Reuters에서 최대 200% 향상되며, 기존의 전통적 SSL 방법보다 뛰어난 성능을 기록한다.
• 사후 확률 분포가 거의 균일한 예측을 대상으로 하는 히우리스틱 기반의 클래스 생성 전략은 무작위 또는 균일한 클래스 생성 방식보다 훨씬 효과적이다.
• Explore-KMeans는 프레임워크의 변형으로서, CRP 기반 군집화 방법보다 정확도와 속도 측면에서 뛰어난 성능을 보이며, CRP의 하이퍼파라미터가 정밀하게 튜닝되지 않은 경우에 특히 두각을 나타낸다.
• 시드가 일부 클래스에만 제공될 경우, 기존의 EM 기반 SSL보다 Exploratory EM이 더 강건하며, 알려지지 않은 클래스의 예측이 알려진 클래스에 잘못 할당되는 의미적 왜곡을 방지한다.
• 실시간으로 새로운 군집을 탐지함으로써, CRP 기반 기준선보다 진짜 군집 수에 더 가까운 모델을 생성한다.
• 이 프레임워크는 어휘 어구 분류 및 문서 분류 과제를 포함한 다양한 데이터셋에서 뛰어난 일반화 성능을 보였다.