[논문 리뷰] How Large a Vocabulary Does Text Classification Need? A Variational Approach to Vocabulary Selection

Wenhu Chen, Yu Su외 4명|arXiv (Cornell University)|2019. 02. 27.

Topic Modeling참고 문헌 34인용 수 4

한 줄 요약

이 논문은 베이지안 추론을 통해 어휘별 드롭아웃 확률을 학습함으로써 텍스트 분류에서 최소이면서도 효과적인 어휘를 선택하는 태스크 인식 기반 방법인 변동 어휘 드롭아웃(Variational Vocabulary Dropout, VVD)을 제안한다. VVD는 새로운 메트릭에서 빈도 기반 및 기타 베이스라인보다 뛰어나며, 정확도 손실을 최소화하면서도 상당한 압축을 달성한다.

ABSTRACT

With the rapid development in deep learning, deep neural networks have been widely adopted in many real-life natural language applications. Under deep neural networks, a pre-defined vocabulary is required to vectorize text inputs. The canonical approach to select pre-defined vocabulary is based on the word frequency, where a threshold is selected to cut off the long tail distribution. However, we observed that such simple approach could easily lead to under-sized vocabulary or over-sized vocabulary issues. Therefore, we are interested in understanding how the end-task classification accuracy is related to the vocabulary size and what is the minimum required vocabulary size to achieve a specific performance. In this paper, we provide a more sophisticated variational vocabulary dropout (VVD) based on variational dropout to perform vocabulary selection, which can intelligently select the subset of the vocabulary to achieve the required performance. To evaluate different algorithms on the newly proposed vocabulary selection problem, we propose two new metrics: Area Under Accuracy-Vocab Curve and Vocab Size under X\% Accuracy Drop. Through extensive experiments on various NLP classification tasks, our variational framework is shown to significantly outperform the frequency-based and other selection baselines on these metrics.

연구 동기 및 목표

• 텍스트 분류에서 어휘 선택에 대한 체계적인 연구 부족, 특히 모델 성능 및 효율성에 미치는 영향을 해결한다.
• 태스크에 무관한 빈도 기반 어휘 정제의 한계를 규명한다. 이는 종종 최적화되지 않은 결과를 낳는다.
• 분류 작업에 가장 관련성이 높은 단어들만 동적으로 식별하고 유지하는 태스크 인식 어휘 선택 방법을 개발한다.
• 성능 및 크기 간 상호 보완 관계를 체계적으로 비교할 수 있도록 새로운 평가 메트릭을 제안한다.
• 계산 비용을 줄이기 위해 적응형 샘플링과 이단계 정제를 도입함으로써 어휘 선택의 효율적 훈련 및 평가를 가능하게 한다.

제안 방법

• 어휘 선택을 베이지안 추론 문제로 수식화하여, 어휘 \mathbb{V} 내 각 단어 $w$에 대해 드롭아웃 확률 $p_w$를 학습한다.
• 변동 드롭아웃을 사용하여 단어별 드롭아웃 비율이 다른 신경망을 훈련하며, 낮은 $p_w$는 작업에 대해 더 중요한 단어임을 나타낸다.
• 추론 시, 임계값 이하의 $p_w$를 갖는 단어들만 유지하여 부분 어휘 $\hat{\mathbb{V}}$를 선택하고, 나머지 단어들은 [0,\dots,0]의 영벡터로 간주한다.
• 이중단계 훈련 전략을 적용한다: 먼저 빈도 기반 커파트로 희귀어를 정제하고, 그 후에 감소된 어휘에 대해 VVD를 적용하여 수렴 속도를 향상시킨다.
• 어휘 크기의 지수적 샘플링(예: 1, 2, 4, 8, 24, 56, ..., 60K)을 사용하여 $O(\log|\mathbb{V}|)$의 평가로 정확도-어휘 곡선을 효율적으로 추정한다.
• 사전 학습된 임베딩(예: Word2Vec, GloVe)을 사용해 단어 임베딩을 초기화하지만, VVD 훈련 중에 전체 임베딩 매트릭스를 재학습한다.

실험 결과

연구 질문

• RQ1 어휘 크기가 최종 작업 분류 정확도에 어떤 영향을 미치며, 목표 성능에 도달하기 위해 필요한 최소 어휘 크기는 얼마인가?
• RQ2 정확도 및 압축 비율 측면에서 태스크 인식 어휘 선택은 빈도 기반 또는 TF-IDF 기반 베이스라인과 비교해 어떻게 성능을 냈는가?
• RQ3 사전 태스크 지식 없이도 변동 베이지안 프레임워크가 단어 수준의 중요도를 효과적으로 학습하고 어휘 정제를 이끌 수 있는가?
• RQ4 이러한 어휘 선택 방법의 훈련 및 평가에서 발생하는 계산적 트레이드오프는 무엇이며, 어떻게 완화할 수 있는가?
• RQ5 제안된 방법은 다양한 NLP 작업(예: 문서 분류, NLI, 대화 NLU)과 신경망 아키텍처(CNN, BiLSTM)에 일반화되는가?

주요 결과

• VVD는 정확도-어휘 곡선 아래 면적 및 X% 정확도 손실 이하 어휘 크기 메트릭에서 빈도 기반, TF-IDF, 구조 라소 베이스라인보다 뚜렷이 뛰어나다.
• AG-news 데이터셋에서 VVD는 전체 어휘 크기의 2.7%인 1,600개 단어(60K 중)로 전체 어휘의 97.6%의 정확도를 달성했으며, 빈도 기반 베이스라인의 4,000개 단어보다 훨씬 적은 어휘로도 높은 성능을 기록했다.
• 제안된 이중단계 훈련 방법은 VVD의 훈련 시간을 크게 줄여, 변동 드롭아웃의 확률적 성격에도 불구하고 실용적인 구현을 가능하게 하였다.
• 어휘 크기의 지수적 샘플링을 통해 $O(\log|\mathbb{V}|)$의 평가로 정확도-어휘 곡선을 정확하게 추정할 수 있었으며, 평가 시간을 $O(|\mathbb{V}|)$에서 실용적인 수준으로 줄였다.
• 빈도 기반 방법보다 더 높은 희소성과 더 나은 압축 성능을 달성하면서도 정확도를 유지하거나 향상시켰으며, 이는 빈도 기반 정제가 모델 효율성 측면에서 최적화되지 않았음을 보여준다.
• 이 방법은 다양한 텍스트 분류 작업(예: 문서 분류, NLI, 대화 NLU)과 아키텍처(CNN, BiLSTM)에서 효과적이며, 광범위한 적용 가능성을 보였다.