[논문 리뷰] Benchmarking Zero-shot Text Classification: Datasets, Evaluation and Entailment Approach

Wenpeng Yin, Jamaal Hay외 1명|arXiv (Cornell University)|2019. 08. 31.

Topic Modeling참고 문헌 25인용 수 34

한 줄 요약

이 논문은 제로샷 텍스트 분류(0shot-tc)를 여러 측면(주제, 감정, 상황)에서 벤치마킹하고, 데이터셋과 평가를 표준화하며, 보지 못한 라벨을 태스크 특유의 학습 없이 다루기 위한 텍스트적 함의(entailment) 프레임워크를 제안한다.

ABSTRACT

Zero-shot text classification (0Shot-TC) is a challenging NLU problem to which little attention has been paid by the research community. 0Shot-TC aims to associate an appropriate label with a piece of text, irrespective of the text domain and the aspect (e.g., topic, emotion, event, etc.) described by the label. And there are only a few articles studying 0Shot-TC, all focusing only on topical categorization which, we argue, is just the tip of the iceberg in 0Shot-TC. In addition, the chaotic experiments in literature make no uniform comparison, which blurs the progress. This work benchmarks the 0Shot-TC problem by providing unified datasets, standardized evaluations, and state-of-the-art baselines. Our contributions include: i) The datasets we provide facilitate studying 0Shot-TC relative to conceptually different and diverse aspects: the ``topic'' aspect includes ``sports'' and ``politics'' as labels; the ``emotion'' aspect includes ``joy'' and ``anger''; the ``situation'' aspect includes ``medical assistance'' and ``water shortage''. ii) We extend the existing evaluation setup (label-partially-unseen) -- given a dataset, train on some labels, test on all labels -- to include a more challenging yet realistic evaluation label-fully-unseen 0Shot-TC (Chang et al., 2008), aiming at classifying text snippets without seeing task specific training data at all. iii) We unify the 0Shot-TC of diverse aspects within a textual entailment formulation and study it this way. Code & Data: https://github.com/yinwenpeng/BenchmarkingZeroShot

연구 동기 및 목표

• 주제 분류를 넘어서 다양한 측면(주제, 감정, 상황)을 포괄하도록 0shot-tc를 벤치마크한다.
• 학습/개발/테스트 분할 및 Seen/Unseen 클래스 구분이 포함된 표준화된 데이터셋 제공.
• 레이블 부분적으로 보이지 않음 및 레이블이 완전히 보이지 않는 설정까지 평가 확장.
• 오픈 레이블 일반화를 가능하게 하는 0shot-tc를 위한 통일된 텍스트 함의 형식을 제안.
• 공정한 비교를 촉진하기 위한 데이터셋과 코드 공개.

제안 방법

• 주제 탐지, 감정 탐지, 상황 프레임 탐지의 세 가지 측면에 대한 데이터셋을 학습/개발/테스트 분할과 Seen/Unseen 클래스 구분을 포함하는 데이터셋을 생성한다.
• 레이블 부분적으로 보이지 않음(표준 0shot-tc) 및 레이블 완전히 보이지 않음(태스크 비특정, 특정 태스크 학습 없음) 평가를 도입한다.
• 주어진 측면에 대해 각 레이블을 가설로 변환하여 0shot-tc를 텍스트 함의 문제로 형식화한다.
• BERT 기반 함의 모델(MNLI, FEVER, RTE 학습)로 후보 레이블에 대한 텍스트-가설 간 함의를 판단한다.
• 레이블 이름 또는 WordNet의 레이블 정의를 사용하여 레이블에 대한 가설을 생성하고, 단일 레이블과 다중 레이블 설정을 평가한다.
• 여러 함의 모델 및 가설 생성 방법을 결합하는 앙상블 접근 방식을 탐색한다.

실험 결과

연구 질문

• RQ1 표준화된 데이터셋과 평가 프로토콜은 0shot-tc 방법 간의 공정한 비교를 가능하게 만드는가?
• RQ2 0shot-tc를 텍스트 함의로 프레이밍하면 태스크 특유의 학습 없이도 다양한 측면에서 효과적인 제로샷 분류가 가능해지는가?
• RQ3 단어 기반 대 정의 기반 대 결합인 다양한 가설 생성 전략이 0shot-tc 성능에 어떤 영향을 주는가?
• RQ4 사전학습된 함의 모델(MNLI, FEVER, RTE)을 사용하는 것이 레이블 부분적으로 보이지 않음 vs 완전히 보이지 않음 설정에 어떤 영향을 미치는가?
• RQ5 함의 모델과 가설의 앙상블이 주제, 감정, 상황 작업에서 견고한가?

주요 결과

• 함의 기반 0shot-tc 접근은 보이는 레이블에서 경쟁력 있는 결과를 달성하고, 주제, 감정, 상황 전반에서 unseen-label 성능을 크게 향상시킨다.
• MNLI 기반 함의는 일반적으로 레이블 부분적으로 보이지 않는 설정에서 가장 강한 성능을 보이며, 작업별로 차이가 있다.
• 레이블 완전히 보이지 않는 설정에서 RTE 기반 모델이 일부 측면에서 MNLI 및 FEVER를 능가하는 경우가 많아 데이터셋 수집 효과를 보여준다.
• 단어 기반 및 정의 기반 가설 생성은 작업에 따라 다른 효과를 보이며, 이를 앙상블로 결합하면 최상의 성능을 종종 달성한다.
• 위키피디아 기반의 사전 학습 벤치마크는 주제 탐지에는 도움이 되지만 감정 및 상황 작업에는 효과적이지 않다.