[논문 리뷰] Candidates vs. Noises Estimation for Large Multi-Class Classification Problem

Lei Han, Yiheng Huang외 1명|arXiv (Cornell University)|2017. 11. 02.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 대규모 다중 분류 문제를 위한 후보군 대 노이즈 추정(CANE)을 제안한다. 이 방법은 소수의 후보 클래스를 선택하고 나머지 클래스를 노이즈로 샘플링함으로써, 낮은 통계적 분산과 O(1)의 예측 복잡도를 확보하면서도 일관된 추정을 달성한다. CANE는 이미지 분류 및 신경어휘 모델링 작업에서 NCE, 그 변형 및 최신 트리 기반 분류기보다 정확도와 속도 면에서 뛰어난 성능을 보였다.

ABSTRACT

This paper proposes a method for multi-class classification problems, where the number of classes K is large. The method, referred to as Candidates vs. Noises Estimation (CANE), selects a small subset of candidate classes and samples the remaining classes. We show that CANE is always consistent and computationally efficient. Moreover, the resulting estimator has low statistical variance approaching that of the maximum likelihood estimator, when the observed label belongs to the selected candidates with high probability. In practice, we use a tree structure with leaves as classes to promote fast beam search for candidate selection. We further apply the CANE method to estimate word probabilities in learning large neural language models. Extensive experimental results show that CANE achieves better prediction accuracy over the Noise-Contrastive Estimation (NCE), its variants and a number of the state-of-the-art tree classifiers, while it gains significant speedup compared to standard O(K) methods.

연구 동기 및 목표

• K개의 클래스(예: 수십만에서 수백만 개)를 가진 대규모 다중 분류 문제에서 표준 소프트맥스 로지스틱 회귀의 계산 비용이 지나치게 높아지는 문제를 해결한다.
• 모든 비타겟 클래스를 동일하게 노이즈로 간주하는 기존의 샘플링 기반 방법(NCE 등)보다 통계적 효율성을 향상시킨다.
• 진짜 클래스가 선택된 후보 집합에 포함될 가능성이 높을 경우에도 일관되고 분산이 낮은 추정기를 확보한다.
• 후보 클래스 선택과 노이즈 샘플링을 통해 전체 클래스 수 K와의 계산을 분리함으로써 빠른 학습 및 예측을 가능하게 한다.
• 신경어휘 모델링에 CANE를 통합하여 단어 확률을 효율적으로 추정하면서도 모델 성능을 유지한다.

제안 방법

• 각 입력에 대해 소수의 적응형 후보 클래스를 선택하고 나머지 클래스는 노이즈로 간주하는 일반적인 프레임워크인 CANE를 제안한다.
• 클래스를 리프로 가지는 트리 구조를 사용하여 후보 선택을 위한 빠른 비트 서치를 가능하게 하여 검색 비용을 감소시킨다.
• 전체 K개 클래스에 대한 정규화를 피하기 위해 후보 클래스와 샘플된 노이즈 클래스 간의 대비 학습 문제로 추정 목표를 수립한다.
• 진짜 클래스가 후보 집합 내에서 높은 확률로 포함될 수 있도록 함으로써 일관성과 낮은 통계적 분산을 확보하며, MLE 성능에 가까워진다.
• K에 독립적인 확률적 경사 하강법(SGD) 절차를 구현하여 효율적인 학습을 가능하게 한다.
• 학습된 임베딩을 사용하는 LSTM을 사용한 신경어휘 모델링에 CANE를 적용하며, 후보 단어는 트리 기반 비트 서치로 선택하고, 노이즈 단어는 거듭제곱된 유니그램 분포에서 샘플링한다.

실험 결과

연구 질문

• RQ1 후보 기반 샘플링 전략은 대규모 다중 분류 문제에서 일관된 추정과 낮은 통계적 분산을 달성할 수 있는가?
• RQ2 CANE의 예측 정확도와 학습 속도 면에서 NCE 및 그 변형과 비교해 성능은 어떠한가?
• RQ3 진짜 클래스가 후보 집합에 포함되는 정도가 추정기의 분산과 수렴 속도에 어떤 영향을 미치는가?
• RQ4 CANE는 트리 구조 모델과 효과적으로 통합되어 후보 선택을 가속화하면서도 정확도를 유지할 수 있는가?
• RQ5 CANE는 신경어휘 모델링 작업에서 최신 트리 기반 분류기 및 샘플링 방법을 능가하는가?

주요 결과

• Penn TreeBank 및 Gutenberg 데이터셋에서 CANE는 NCE 및 BlackOut보다 더 빠른 수렴과 낮은 테스트 퍼플렉서티를 달성했으며, 전체 소프트맥스에 가까운 퍼플렉서티를 확보했다.
• Penn TreeBank 데이터셋에서 80개의 후보를 사용한 CANE는 테스트 퍼플렉서티 102.5를 기록했고, 동일 조건에서 NCE(105.8)와 BlackOut(106.1)를 모두 앞섰다.
• Gutenberg 데이터셋에서는 CANE가 학습 시간을 약 5시간으로 줄였고(NCE: 6–8시간, 전체 소프트맥스: 35시간), 경쟁 가능한 퍼플렉서티를 유지했다.
• ALOI 및 ImgNet-10K에서 9개의 후보를 선택할 경우 진짜 레이블이 후보 집합에 포함될 확률이 97%를 초과하여 높은 커버리지가 확인되었다.
• ImageNet-10K에서 CANE는 21.9%의 Top-1 정확도를 기록했으며, NCE 및 BlackOut를 능가했고 일부 O(K) 방법보다도 뛰어났지만, 최신 기준인 28.4%에는 미치지 못했다.
• 비트 서치로 인한 약간의 처리 속도 저하에도 불구하고, 후보 집합 크기가 작아져 CANE의 예측 시간은 NCE 및 BlackOut보다 뚜렷하게 빨라졌다.