[논문 리뷰] Multi-label Dataless Text Classification with Topic Modeling

Daochen Zha, Chenliang Li|arXiv (Cornell University)|2017. 11. 05.

Text and Document Classification Technologies인용 수 3

한 줄 요약

이 논문은 레이블이 없는 훈련 데이터만을 사용하고 카테고리당 몇 개의 시드 단어만 제공함으로써 데이터리스 텍스트 분류를 위한 시드 유도 다중 레이블 토픽 모델인 SMTM을 제안한다. 스파이크-앤프레드 및 약한 스무딩 사전 확률를 통해 카테고리 희박성을 모델링하고, 시드 유도 편향된 GPU 샘플링 절차를 적용함으로써 SMTM는 다중 레이블 분류 작업에서 최신 기술 수준의 성능을 달성하며, 일부 시나리오에서는 일부 지도 학습 방법보다도 뛰어난 성능을 보였다.

ABSTRACT

Manually labeling documents is tedious and expensive, but it is essential for training a traditional text classifier. In recent years, a few dataless text classification techniques have been proposed to address this problem. However, existing works mainly center on single-label classification problems, that is, each document is restricted to belonging to a single category. In this paper, we propose a novel Seed-guided Multi-label Topic Model, named SMTM. With a few seed words relevant to each category, SMTM conducts multi-label classification for a collection of documents without any labeled document. In SMTM, each category is associated with a single category-topic which covers the meaning of the category. To accommodate with multi-labeled documents, we explicitly model the category sparsity in SMTM by using spike and slab prior and weak smoothing prior. That is, without using any threshold tuning, SMTM automatically selects the relevant categories for each document. To incorporate the supervision of the seed words, we propose a seed-guided biased GPU (i.e., generalized Polya urn) sampling procedure to guide the topic inference of SMTM. Experiments on two public datasets show that SMTM achieves better classification accuracy than state-of-the-art alternatives and even outperforms supervised solutions in some scenarios.

연구 동기 및 목표

• 텍스트 분류를 위한 대규모 다중 레이블 훈련 데이터셋을 구축하는 데 드는 높은 비용과 복잡성을 해결하기 위해.
• 데이터리스 텍스트 분류를 단일 레이블에서 다중 레이블 설정으로 확장하여, 문서가 여러 카테고리에 속할 수 있도록 하기 위해.
• 임계치 조정 없이도 레이블 예제 없이 각 문서에 대해 관련 카테고리를 자동으로 식별하는 방법을 개발하기 위해.
• 단어 공존 패턴과 카테고리-토픽 관계를 모델링하여 제한된 시드 단어를 효과적으로 활용하기 위해.
• 저데이터 또는 열악한 데이터 상황에서 지도 기반 기준보다 경쟁력 있거나 뛰어난 성능을 달성하기 위해.

제안 방법

• SMTM는 각 카테고리를 카테고리의 의미를 포괄하는 단일 카테고리-토픽으로 모델링한다.
• 카테고리 희박성을 강제하기 위해 스파이크-앤프레드 사전 확률를 사용하여, 각 문서가 확률적으로 일부 카테고리에만 연관될 수 있도록 한다.
• 시드 단어가 명시적으로 포함되지 않은 문서를 처리하기 위해 약한 스무딩 사전 확률를 적용하여, 불완전한 시드 단어 커버리지에 대한 강건성을 향상시킨다.
• 공존 단어와 관련 카테고리-토픽을 촉진함으로써 주제 추론을 안내하는 데 목적이 있는 시드 유도 편향된 일반화된 포리아 어귀(GPU) 샘플링 절차를 도입한다.
• 코퍼스 전반의 단어 공존 통계를 활용하여 초기 시드 단어 외의 관련 단어를 추론한다.
• 시드 단어 감독과 카테고리 희박성 제약 조건을 통합한 게비스 샘플링 기반 알고리즘을 사용하여 추론을 수행한다.

실험 결과

연구 질문

• RQ1 문서가 여러 카테고리에 속할 수 있는 다중 레이블 설정으로 데이터리스 텍스트 분류를 효과적으로 확장할 수 있는가?
• RQ2 레이블이 없는 상황에서 임계치 조정에 의존하지 않고 카테고리 희박성을 어떻게 모델링할 수 있는가?
• RQ3 소량의 시드 단어를 효과적으로 활용하여 다중 레이블 분류에서 주제 추론과 레이블 할당을 유도할 수 있는가?
• RQ4 레이블이 부족하거나 열악한 상황에서 데이터리스 다중 레이블 분류기의 성능이 지도 기반 기준과 비교해 어떻게 되는가?
• RQ5 공존 패턴을 통해 초기 시드 단어 외의 관련 단어를 모델이 식별할 수 있는가?

주요 결과

• SMTM는 두 개의 공개 다중 레이블 데이터셋에서 최신 기술 수준의 데이터리스 기준보다 더 높은 분류 정확도를 달성했다.
• 일부 시나리오에서는 레이블이 제한되거나 열악한 상황에서 지도 학습 방법보다 SMTM가 뛰어난 성능을 보였다.
• 문서에 시드 단어가 전혀 포함되지 않은 경우에도 단어 공존 패턴을 활용하여 관련 카테고리를 성공적으로 식별했다.
• 스파이크-앤프레드 사전 확률는 임계치 조정 없이도 각 문서에 대해 관련 카테고리를 자동으로 확률적으로 선택할 수 있도록 했다.
• 시드 유도 편향된 GPU 샘플링 절차는 관련 카테고리-토픽과 단어를 효과적으로 촉진하여 추론 정확도를 향상시켰다.
• 시드 텀이 누락된 문서를 처리하는 데 있어 SMTM는 강건성을 보였으며, 이는 시드 텀이 누락된 경우에도 정확하게 카테고리를 할당했다는 델리셔스 데이터셋의 사례에서 확인되었다.