[논문 리뷰] Aggressive Sampling for Multi-class to Binary Reduction with Applications to Text Classification

Bikash Joshi, Massih-Réza Amini외 3명|arXiv (Cornell University)|2017. 01. 23.

Text and Document Classification Technologies참고 문헌 1인용 수 7

한 줄 요약

이 논문은 장수류 분포가 있는 환경에서 대규모 다중 분류 텍스트 분류를 이진 분류로 줄이는 데 효과적이고 일관성 있는 이중 샘플링 전략을 제안한다. 소수의 클래스를 과도하게 샘플링하고 대규모 클래스를 부분 샘플링함으로써, 쌍으로 구성된 축소된 데이터셋을 구축함으로써, 최대 100,000개의 클래스를 가진 데이터셋에서 메모리 소비와 학습 시간을 크게 줄이며 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We address the problem of multi-class classification in the case where the number of classes is very large. We propose a double sampling strategy on top of a multi-class to binary reduction strategy, which transforms the original multi-class problem into a binary classification problem over pairs of examples. The aim of the sampling strategy is to overcome the curse of long-tailed class distributions exhibited in majority of large-scale multi-class classification problems and to reduce the number of pairs of examples in the expanded data. We show that this strategy does not alter the consistency of the empirical risk minimization principle defined over the double sample reduction. Experiments are carried out on DMOZ and Wikipedia collections with 10,000 to 100,000 classes where we show the efficiency of the proposed approach in terms of training and prediction time, memory consumption, and predictive performance with respect to state-of-the-art approaches.

연구 동기 및 목표

• 와이키백 및 DMOZ와 같은 과도하게 많은 수의 클래스를 가진 데이터셋에서 극단적인 다중 분류 텍스트 분류 문제를 해결한다.
• 실제 텍스트 데이터셋에서 흔히 나타나는 장수류 분포 문제를 해결한다.
• 다중 분류에서 이진 분류로의 변환 과정에서 쌍 생성의 계산 비용을 낮추되 일반화 성능을 손상시키지 않는다.
• 샘플링에 의한 분포 이동과 쌍 간의 상호의존성에도 불구하고 경험적 리스크 최소화의 일관성을 확보한다.
• 극단적인 다중 분류 환경에서 예측 성능, 학습 시간, 메모리 소비 간의 유리한 트레이드오프를 달성한다.

제안 방법

• 원본 학습 데이터셋에서 소수의 클래스는 과도하게 샘플링하고 대규모 클래스는 부분 샘플링하여 클래스 분포를 균형 잡는 이중 샘플링 전략을 적용한다.
• 재샘플링된 집합에서 진짜 클래스와 무작위로 선택된 부정 클래스를 각 인스턴스와 쌍으로 묶어 축소된 이원 쌍 데이터셋을 구성한다.
• 축소된 이원 데이터셋으로 학습된 이진 분류기를 사용하여 주어진 (예시, 클래스) 쌍이 참(진짜 레이블)인지 부정(틀린 레이블)인지 예측한다.
• 지역 분수 레데마커 복잡도를 사용한 이론적 프레임워크를 도입하여 변환된 샘플링된 분포 하에서 경험적 리스크 최소화의 일관성을 증명한다.
• 예시와 클래스 양쪽 모두에 유사도 기반 특징 표현을 활용하여 이진 분류 공간에서의 일반화 성능을 향상시킨다.
• 동일한 예시와 진짜 클래스를 공유하는 쌍 간의 상호의존성을 일반화 한계에 공식적으로 반영한다.

실험 결과

연구 질문

• RQ1 극단적인 다중 분류 환경에서 학습 인스턴스와 부정 클래스에 대한 공격적인 샘플링 전략이 다중 분류에서 이진 분류로의 변환 효율을 향상시킬 수 있는가?
• RQ2 이러한 샘플링 전략은 분포 이동과 쌍 간의 상호의존성에도 불구하고 경험적 리스크 최소화의 일관성을 유지하는가?
• RQ3 학습 시간, 메모리 사용량, 예측 성능 측면에서 최신 기술 대비 이 방법은 어떻게 비교되는가?
• RQ4 이 방법은 실제 텍스트 데이터셋에서 장수류 분포가 초래하는 부정적 영향을 어느 정도 완화하는가?
• RQ5 50,000에서 100,000개의 클래스를 가진 데이터셋에 대해 이 방법은 높은 정확도와 낮은 자원 소비를 유지하면서 효과적으로 확장 가능한가?

주요 결과

• 100,000개의 클래스를 가진 Wikipedia-100K 데이터셋에서 제안된 $(\boldsymbol{\nu},\boldsymbol{\rho})$-DS 방법은 25%의 정확도와 17.8%의 매크로 F1을 기록하여 OVA, M-SVM, FastXML를 모두 앞섰다.
• Wikipedia-100K에서 이 방법은 학습 시간을 9,264초로 줄였고 메모리 사용량을 9.8 GB로 줄였으며, OVA와 M-SVM의 1,000 GB 이상을 초과하는 사용량에 비해 뚜렷한 개선을 보였다.
• Wikipedia-50K에서 이 방법은 예측 시간이 37.23초에 불과했고 정확도 33.8%, 매크로 F1 23.4%를 기록하여 트리 기반 방법들보다 뚜렷이 뛰어났다.
• $(\boldsymbol{\nu},\boldsymbol{\rho})$-DS 방법은 런타임, 메모리, 성능 간의 최고의 트레이드오프를 달성했으며, 높은 메모리 사용량에도 불구하고 PD-Sparse를 능가하는 성능을 보였다.
• 트리 기반 방법인 FastXML과 RecallTree는 계산 오차가 누적되어 더 빠른 추론에도 불구하고 낮은 정확도(예: DMOZ에서 15.6%)를 기록했다.
• 지역 분수 레데마커 복잡도를 사용한 이론적 한계로 검증된 바와 같이, 이 방법은 공격적인 샘플링 조건에서도 높은 일관성과 일반화 성능을 유지했다.